XPath包含函数: 文本匹配定位技巧

XPath的contains()到底怎么玩？

搞数据采集的兄弟应该都懂，网页元素定位就像大海捞针。这时候XPath的contains()函数就是你的磁铁，特别是当元素特征不明显的时候。举个栗子，找页面里所有带”价格”二字的div标签，直接写成//div[contains(text(),'价格')]，比用完整文本匹配灵活多了。

//[contains(@class,'btn_submit')]  //找包含提交按钮样式的元素
//a[contains(@href,'product_detail')]  //抓商品详情页链接

代理IP和XPath怎么双剑合璧？

很多网站防爬机制贼精，同一个IP频繁访问直接给你拉黑。这时候就要ipipgo的动态住宅代理出场了，他们的IP池每天更新8000+节点。比如说你要采集某电商网站的价格数据：

import requests
from lxml import etree

proxies = {
  'http': 'http://user:pass@gateway.ipipgo.com:9021'
}

resp = requests.get('https://xxx.com', proxies=proxies)
html = etree.HTML(resp.text)
prices = html.xpath('//span[contains(@class,"price")]')

实战避坑指南

遇到过这样的坑：某网站把价格藏在data-price属性里，表面文本显示”¥？？”。这时候单纯用text()定位就扑街了，得这样写：

//div[@id='goods']/@data-price  //直接提取属性值

搭配ipipgo的智能轮换策略，设置每5分钟自动换IP，采集成功率直接从50%飙到95%。他们后台还能看到每个IP的使用状态，这点确实省心。

你肯定想问这些

Q：contains()区分大小写吗？
A：分！要找”PRICE”就得写’PRICE’，建议先用translate()函数统一转小写

Q：动态加载的内容怎么破？
A：先用ipipgo的高匿代理绕过反爬，再配合Selenium之类的工具，等元素加载完再抓

Q：ipipgo的存活时间够用吗？
A：实测他们单个IP能用10-30分钟，做常规采集完全够。要是长期任务，建议开API自动提取新IP

为什么选ipipgo？

对比过几家代理服务商，ipipgo有三个硬核优势：

上周帮客户做比价采集，用他们家上海本地IP访问目标网站，居然比普通代理快3倍。后来才知道他们和三大运营商有直连通道，这波属实专业。

终极组合拳

最后分享个私藏配置方案：

1. 在ipipgo控制台创建会话持久型代理
2. XPath写成//[contains(@id,'result_')]匹配动态ID
3. 设置失败重试3次+自动切换IP

这套组合拳实测日均采集10万条数据不带卡壳的。特别是做跨境电商的朋友，用他们家的海外原生IP配合XPath定位，抓竞品数据那叫一个稳。