结构化数据提取：XPath与CSS选择器进阶

一、当数据定位遇上动态IP池

搞数据抓取的老铁们都知道，网页结构天天变就像女朋友的脾气。这时候XPath和CSS选择器就是你的定海神针，但有个坑爹问题——目标网站的反爬机制会记住你的IP。这时候就该ipipgo的动态住宅代理上场了，它的IP池里有2000万+真实住宅IP，每次请求自动切换，配合精准的选择器定位，就像给爬虫装上了隐身斗篷。

二、选择器实战避坑指南

新手常见误区就是死磕绝对路径，比如非要用/html/body/div[3]/div[2]/span这种写法。其实用相对路径+属性定位更稳，比如//div[@class=’price’]/span[contains(text(),’￥’)]。ipipgo的代理服务有个妙用：通过不同地区IP访问，可以发现某些元素的class名会地域化，这时候用css选择器div[class^=’price_’]这种模糊匹配就特别香。

三、反反爬的三板斧

遇到验证码弹窗别慌，试试这三招：1）用ipipgo的长效静态住宅IP建立可信会话 2）结合//meta[@name=’robots’]检测爬虫规则 3）CSS选择器div:not([data-anti])排除陷阱元素。实测用这种方法，某电商平台的商品数据采集成功率从47%直接干到89%。

四、效率翻倍的冷技巧

别小看浏览器开发者工具，在Network面板里找XHR请求直接拿数据接口，比解析DOM快10倍不止。这时候用ipipgo的API代理模式，直接把代理地址填到requests的proxies参数里，记得要设置5秒自动切换IP，亲测能绕过99%的接口频次限制。

五、实战QA急救包

Q：总被重定向到验证页面怎么办？
A：八成是IP被标记了，换成ipipgo的移动蜂窝代理，记得在XPath里加上//noscript内容解析，很多网站会把真数据藏在noscript里。

Q：选择器在浏览器能用但代码里失效？
A：检查是不是动态渲染的页面，用ipipgo的Selenium专用代理配合显式等待，等元素加载完再抓，比隐式等待靠谱多了。

Q：怎么处理无限滚动的瀑布流？
A：先用CSS选择器window.scrollTo(0,document.body.scrollHeight)触发加载，再用ipipgo的多线程异步代理，不同线程用不同地区IP分块采集。

最后安利下，用ipipgo的智能路由代理有个隐藏技巧：把国内目标站走静态商务IP，境外资源走动态住宅IP，这样选择器定位成功率直接拉满。他们家的代理管理器还能自动检测IP可用性，比手动换IP省心不是一星半点。