XPath包含函数: 网页文本搜索表达式

手把手教你用XPath的contains函数找网页元素

搞数据采集的兄弟都懂，XPath表达式就像探照灯，能准确定位网页里的元素。不过很多新手总在动态文本上栽跟头——比如商品价格显示”¥199.00″和”￥199″这种格式差异，这时候就得搬出contains()这个神器了。

代理IP为啥要和XPath搭配用？

举个栗子，你写了个完美XPath表达式：//div[contains(@class,’price’)]，结果连续访问某网站十几次后突然失效了。这很可能不是你的代码问题，而是目标网站封了你的本机IP！这时候就需要像ipipgo这样的专业代理服务，自动切换住宅IP，让采集任务不断线。

contains函数实战技巧

记住这三个常用组合拳：

1. //标签[contains(text(),”关键字”)] → 找包含特定文字的标签
2. //[contains(@属性,’固定部分’)] → 匹配属性值动态变化的元素
3. contains+starts-with组合 → 处理带随机后缀的class名

比方说要抓取某电商平台的商品评价，发现每个评价块的div都有个随机生成的ID，但都包含”review-“这个前缀，这时候就可以写：

//div[contains(@id,'review-')]/p

ipipgo代理服务实战配置

在Python的requests库中配置代理（记得把示例里的账号密码换成自己在ipipgo后台获取的凭证）：

proxies = {
    'http': 'http://用户名:密码@gateway.ipipgo.com:端口',
    'https': 'http://用户名:密码@gateway.ipipgo.com:端口'
}
response = requests.get(url, proxies=proxies, timeout=10)

这里有个避坑指南：很多兄弟在免费代理上浪费大量时间调试，结果采集效率反而降低。ipipgo的独享IP池支持自动鉴权，实测在连续12小时采集任务中，IP可用率保持在98%以上。

常见问题QA

Q：XPath写对了但抓不到数据咋整？
A：先检查是否触发反爬，用ipipgo切换IP后重试。同时建议在XPath里加contains(@class,’xxx’)做二次过滤

Q：代理IP需要频繁更换吗？
A：看目标网站的风控强度。建议在ipipgo后台设置「智能切换」模式，系统会自动根据响应状态切换IP

Q：如何测试代理是否生效？
A：可以先访问http://httpbin.org/ip查看当前出口IP，对比ipipgo控制台显示的分配IP是否一致

升级玩法：智能容错机制

在代码里加个双重保险：当contains定位失败时，自动尝试用其他属性定位，同时通过ipipgo的API实时更换IP。这里给个伪代码逻辑：

try:
    element = find(//div[contains(@id,'content')])
except:
    element = find(//div[contains(@class,'main-text')])
    ipipgo.rotate_ip()   调用换IP接口

最后安利下，用ipipgo的兄弟们记得在后台开启「XPath模式」专属优化线路，这个功能是专门为需要精准定位元素的场景设计的，能自动绕过常见的反爬策略。新用户注册领3G流量试用，足够跑通整个采集流程了。