HTML网页爬取速成：XPath与正则表达式

一、小白也能懂的爬虫入门姿势

想从网页扒数据又怕被封？先记住这个黄金三角组合：requests库发请求，XPath找位置，正则表达式抠细节。别被专业名词吓到，咱就拿某电商网站价格监控举例，假设你要抓手机价格，用requests.get()就能拿到网页源码。

这时候ipipgo的代理IP池就派上用场了。为啥？同一个IP疯狂请求，网站不封你封谁？在代码里加几行代理设置，轮换着用ipipgo提供的IP地址，就像玩”变脸”游戏，让网站以为每次都是不同人在访问。

二、XPath找数据比翻抽屉还简单

把网页结构想象成衣柜，XPath就是告诉程序”第三层抽屉左边第二件衣服”的导航语。Chrome开发者工具（F12）里右键元素选Copy XPath，能直接拿到定位路径。比如手机价格可能在//div[@class='price-box']/span[1]这个位置。

三、正则表达式：数据清洗的瑞士军刀

当网页数据像乱炖时，正则就是你的滤网。比如抓到的价格显示”￥3,299起”，用d+,d+就能提取出3299。记住三个万能符号：.?（任意字符）、d+（数字）、w+（字母数字）。

实战案例：处理带杂质的电话号码
原始文本：客服电话400-1234-5678(工作日)
正则公式：d{3}-d{4}-d{4}

四、代理IP的正确打开方式

见过凌晨4点的ConnectionError吗？这就是没用好代理的下场。在代码里加入ipipgo的代理，就像给爬虫装上隐身衣：

proxies = {
    'http': 'http://username:password@ipipgo-proxy-server:port',
    'https': 'https://username:password@ipipgo-proxy-server:port'
}
response = requests.get(url, proxies=proxies)

重点来了：每次请求随机选IP、异常自动切换、定时检测IP可用性。ipipgo的API能直接返回可用代理列表，比自己维护省心得多。

五、避坑指南：新手常犯的5个错误

1. 忘了设置请求头，被当机器人拦截
2. 单IP猛刷，10分钟喜提封禁大礼包
3. 不处理页面异步加载，抓了个寂寞
4. 正则写太死，网页改个样式就失效
5. 没做异常处理，程序半夜崩溃

六、QA时间：你肯定想问这些

Q：网站改版XPath失效怎么办？
A：多用相对路径和模糊匹配，比如//[contains(@class,'price')]比固定class更抗改版

Q：ipipgo的代理怎么计费？
A：他们家按实际使用量收费，不像某些平台必须买套餐。新用户送5元体验金，够测试几千次请求

Q：遇到验证码怎么破？
A：降低请求频率+切换UA+使用ipipgo的高匿代理三件套。真遇到硬核验证码，建议接入打码平台

七、终极建议：别当莽夫

爬虫是持久战，比的是谁活得更久。做好这三点：
1. 每次请求随机sleep(1-3秒)
2. 重要项目准备3套解析方案
3. 用ipipgo的独享IP池做保底方案
记住，可持续爬取才是王道，别为省代理费因小失大。