XPath文本包含查询: 精准定位网页元素的表达式写法

手把手教你用XPath的文本查询抓数据

搞数据采集最烦人的就是网页结构变来变去，今天教大伙一个绝招——XPath的contains()函数。这玩意儿就像给网页元素装GPS，就算页面改了点样式也能精准定位。

举个栗子，你要抓商品价格但发现网页里价格元素没固定id。这时候用//span[contains(text(),'¥')]就能逮住所有带¥符号的标签，管它藏在哪个犄角旮旯。

//div[contains(@class,'price-box')]//span[contains(text(),'￥')]

代理IP和XPath怎么搞基

当你用爬虫疯狂抓数据时，网站防火墙可不是吃素的。这时候就得请出咱们的ipipgo动态住宅代理，它家IP池子深不见底，配合XPath的模糊匹配，采集效率直接翻倍。

比如你要抓某电商全国分区的价格，用ipipgo的城市级定位代理切换不同地区IP，再用这个XPath抓价格：

//[contains(@id,'price_') and contains(text(),'折后价')]

记得在代码里配置ipipgo的代理认证：

import requests
proxies = {
  'http': 'http://用户名:密码@gateway.ipipgo.com:端口',
  'https': 'http://用户名:密码@gateway.ipipgo.com:端口'
}
response = requests.get(url, proxies=proxies)

实战避坑指南

新手常犯的三大错误：

重点说下第三点，当网站有反爬机制时，记得在XPath采集代码里集成ipipgo的自动切换代理功能，这样每个请求都从不同IP出口出去，亲测有效防封。

你问我答环节

Q：XPath查不到元素咋整？
A：先检查是不是动态加载的内容，这种情况得配合Selenium。记得在Selenium里也要配置ipipgo的代理，他家支持浏览器级代理设置。

Q：代理IP老是连接超时怎么办？
A：八成是用到了垃圾代理。ipipgo的独享代理线路有5秒必连保障，实测高峰期也能稳如老狗。

Q：需要采集海外网站咋弄？
A：ipipgo的海外机房代理覆盖50+国家，配合XPath的多语言文本查询，比如找德语网站价格用contains(text(),'€')，一抓一个准。

最后唠叨一句，XPath这玩意要多练才能熟。碰上复杂页面别硬刚，灵活运用contains()配合咱们ipipgo的智能解析代理，直接白嫖网站数据不心疼。代码写累了就去他家后台薅个免费试用，新用户送5G流量包呢。