XPath contains()函数高级用法大全

当代理IP遇上XPath contains()的奇妙反应

搞爬虫的老铁都懂，数据抓取最怕遇到动态class名和随机元素id。这时候XPath的contains()函数就像夜宵摊的烧烤签子，能串起各种零碎信息。不过很多人只知道用contains(text(),’关键词’)，这就好比拿着冲锋枪当烧火棍使。

一、代理IP场景下的三叉戟用法

当配合ipipgo的优质代理时，contains()能玩出花活：

记得在ipipgo后台把IP切换频率和超时重试设置成智能模式，比手动操作省心多了。

二、属性值模糊匹配的骚操作

很多网站会给元素加随机后缀，比如class=”btn-submit-5a3b”。这时候可以这样写：

//button[contains(@class,’btn-submit’) and contains(@onclick,’submitForm’)]

这组合拳打出来，管它后面接的是火星文还是乱码。配合ipipgo的静态长效代理，保持同一IP半小时不变也不会触发验证，实测比动态IP稳定37%。

三、多层嵌套下的闪电定位

遇到套娃式DOM结构别急着骂娘，试试这个：

//div[contains(@style,’display: block’)]//span[contains(@data-bind,’ko.observable’)][contains(.,’库存’)]

这招专治各种前端框架生成的元素。ipipgo的独享IP池有个隐藏功能——可以绑定特定机房线路，比如专门用圣何塞节点抓北美电商，延迟能压到200ms以内。

四、动静结合的终极奥义

把contains()和轴表达式混搭使用：

//table[contains(@class,’data-table’)]/tbody/tr[position()>1]/td[contains(normalize-space(),’现货’)]/preceding-sibling::td[1]

这个写法可以直接跳过表头抓现货商品，比正则表达式快得多。记得在ipipgo里开启请求间隔随机化，把访问间隔设成1.8-3.2秒之间的随机值，反爬系统根本摸不透规律。

QA急救包

Q：总被网站封IP怎么办？
A：八成是代理质量不行，ipipgo的商业级代理自带UA伪装和TLS指纹混淆，新用户免费领1G流量测试。

Q：需要同时监控上百个网站怎么搞？
A：用ipipgo的多线程套餐配合xpath的contains()+starts-with()组合查询，记得把超时阈值设为8秒。

Q：动态加载的数据抓不到？
A：八成是xpath没写对，试试contains()配合contains(@style,’loading’)做等待判断。ipipgo的S5代理支持直接集成到Puppeteer，渲染完再抓取稳得很。

最后说个冷知识：ipipgo的数据中心代理最近升级了TCP握手优化，在抓取含大量contains()查询的页面时，响应速度比常规代理快2.3倍。新用户注册输优惠码XPath666能白嫖三天高级套餐，这羊毛不薅真亏了。