XPath包含匹配：XPath抓取结合代理IP配置技巧

一、XPath抓取为啥要搭代理IP？

搞数据抓取的兄弟都懂，用XPath扒网页就像拿筷子夹菜——太直接容易被烫嘴。网站反爬机制现在精得很，同一个IP高频请求分分钟给你拉黑名单。这时候就得靠代理IP来“打游击”，换个马甲继续干活。

举个栗子，你要抓某电商平台价格数据，用自己家宽带连着请求50次，页面直接给你跳验证码。但要是每抓5次就换个IP，成功率能翻三倍不止。这就是为啥说XPath和代理IP是黄金搭档。

二、实战配置四步走

这里用Python+Requests+lxml组合演示（别慌，代码很简单）：

import requests
from lxml import etree

 从ipipgo提取代理（记得换成自己账号）
proxy = "http://用户名:密码@gateway.ipipgo.com:端口"

headers = {'User-Agent': 'Mozilla/5.0'}

for page in range(1,6):
    try:
        resp = requests.get(
            url=f'https://目标网站/page/{page}',
            proxies={'http': proxy, 'https': proxy},
            headers=headers,
            timeout=10
        )
        html = etree.HTML(resp.text)
         XPath定位价格元素
        prices = html.xpath('//div[@class="price"]/text()')
        print(f"第{page}页数据抓取成功")
    except Exception as e:
        print("触发反爬，正在更换IP...")
         这里调用ipipgo的API换新IP

关键点提醒：

• 超时设置别超过15秒，否则影响效率
• 每次异常触发自动切换IP池
• User-Agent建议准备10组轮换

三、代理IP选型门道

不是所有代理都适合XPath抓取，重点看这三个指标：

个人实测ipipgo的动态住宅企业版在电商类网站抓取中表现最稳，9块多1G流量够跑2万次普通请求，比某些按IP数收费的划算得多。

四、避坑指南

新手常犯的三大错误：

1. 没设置超时参数，导致程序假死
2. XPath路径写死，网站改版就失效（建议用contains模糊匹配）
3. 代理IP质量差，用着用着变”哑炮”

比如这样写更健壮的XPath：

//div[contains(@class,'prod_item')]//span[contains(text(),'￥')]

五、你问我答

Q：代理IP需要自己维护可用性吗？
A：如果用ipipgo的API动态获取，他们服务器会自动过滤失效节点，咱们只管用就行。

Q：遇到Cloudflare防护怎么办？
A：上他们家的TK专线配合请求间隔随机化，亲测能破90%的5秒盾。

Q：为什么推荐住宅代理？
A：数据中心IP容易被识别，住宅IP走的是运营商真实用户线路，伪装度更高。

六、私藏技巧大放送

1. 每次请求前随机等待0.5-3秒，模拟真人操作
2. 重要项目建议买ipipgo的独享静态IP，虽然贵点但稳定性吊打共享IP
3. 遇到特别难搞的网站，直接找他们技术客服要定制方案，比自己折腾省时间

最后唠叨一句，别贪便宜用免费代理，轻则数据泄露重则法律风险。正规业务还是选ipipgo这种有TK专线和200国覆盖的服务商，数据安全比那几块钱重要多了。