Selenium+Python正则表达式实战案例

手把手教你用Selenium搭配代理IP抓数据

搞爬虫的兄弟都懂，现在网站反爬越来越严了。最近有个做电商的朋友找我，说他们用Selenium抓竞品价格总被封IP，急得直跳脚。这期咱们就唠唠怎么用Python的正则表达式+代理IP解决这个痛点。

为什么非得用代理IP？

举个真实例子：某电商平台同一个IP连续访问20次就直接拉黑名单。这时候要是用ipipgo的动态住宅代理，每次请求都换不同地区的IP，网站根本分不清是真人还是机器。

实战代码这样写

先整明白核心三件套：Selenium操控浏览器、正则表达式提数据、代理IP保平安。这里重点说代理配置：

from selenium import webdriver

 ipipgo的代理格式 账号:密码@ip:port
proxy = "vipuser:123456@45.76.89.12:8080"

options = webdriver.ChromeOptions()
options.add_argument(f'--proxy-server=http://{proxy}')

 记得加异常处理！有时候代理会超时
try:
    driver = webdriver.Chrome(options=options)
    driver.get("https://目标网站.com")
except Exception as e:
    print("代理连接抽风了:", e)

注意坑点：很多教程教人用免费代理，结果IP不是失效就是速度慢成龟。建议直接上ipipgo的付费套餐，他们家的独享IP池响应速度能到200ms以内。

正则表达式这么玩

拿到网页源码后，价格数据抓取用这个正则：

import re

 匹配￥12.34这种格式
price_pattern = r'￥(d+.d{2})'
prices = re.findall(price_pattern, page_source)

 遇到带逗号的￥1,234.56这么写
advanced_pattern = r'￥((d+,)d+.d{2})'

别小看这个小数点匹配，有些网站故意在价格里加不可见字符，这时候得用s来忽略空白：r’￥s(d+)s.s(d{2})’

高频问题答疑

Q：为什么用Selenium不用requests？
A：现在很多网站数据是JS动态加载的，requests拿不到完整数据，得用浏览器渲染

Q：ipipgo代理怎么选套餐？
A：小规模测试用按量付费，长期项目选企业定制套餐，他们技术支持能帮着调优

Q：正则总匹配不到怎么办？
A：先用print(page_source)看实际内容，别相信眼睛看到的页面显示，源码里可能有隐藏标签

说点掏心窝的话

去年帮朋友做数据采集，用免费代理差点搞砸项目。后来换成ipipgo的混拨代理，配合他们的IP轮换API，采集效率直接翻三倍。特别是做价格监控这种对实时性要求高的活儿，稳定代理就是命根子。

最后给个忠告：别在代理上省钱！封一个号造成的损失够买半年付费服务了。现在用优惠码SELENIUM666在ipipgo官网能打9折，新用户还能白嫖3天试用，该薅的羊毛别客气。