Yelp抓取: 商家评论采集方案

Yelp抓取难点在哪？先搞明白为啥封你号

搞过数据采集的老铁都懂，Yelp反爬机制比亲妈查手机还严。特别是评论数据这块，直接关系到平台核心利益。去年有个哥们用自己家宽带连着爬了三天，结果IP直接被拉黑，连带常用账号都被封，血淋淋的教训啊。

这里有个误区要纠正：很多人以为只要控制请求频率就行。其实Yelp会综合看IP属地、设备指纹、行为轨迹三个维度。举个栗子，上午用纽约IP访问，下午切到洛杉矶IP，这种时空瞬移铁定触发警报。


 典型作死代码示例
import requests
for page in range(1,100):
    response = requests.get(f'https://www.yelp.com/biz/xxx/review_feed?page={page}')   连续翻页必被封

这里教你们几个实战验证过的方案，用ipipgo的服务举例说明：

套路一：属地匹配原则
比如要爬旧金山中餐馆评论，那就专门用加州的住宅IP。ipipgo有个好处是能精确到城市级定位，不像有些代理显示在加州实际是德州机房IP。

套路二：动态轮换策略
建议每采集20条评论就换IP，但要注意两点：
1. 新IP必须和前一个IP属于同运营商（比如都是Comcast）
2. 更换时间要模拟真人阅读速度，别整点卡秒切换

操作步骤	错误示范	正确姿势
IP更换频率	固定每5分钟换	随机3-8分钟换
请求头设置	永远用相同UA	每次携带不同设备指纹

套路三：失败补救机制
准备个监控脚本，遇到403状态码自动执行：
1. 立即暂停30-90秒
2. 切换ipipgo的白名单IP（建议用企业级套餐里的固定IP）
3. 清除本地cookies重新登录

Q：明明用了代理IP还是被封？
A：检查IP是否带HOST头污染，有些廉价代理会修改HTTP头。用ipipgo的检测接口验证下：


curl --proxy http://user:pass@ipipgo-proxy:port https://ip.ipipgo.com/header-check

Q：采集速度像蜗牛怎么办？
A：别用免费代理！ipipgo的商务套餐支持并发隧道技术，实测能跑到500Mbps带宽。记得在请求头里加”Connection: keep-alive”复用链接。

Q：法律风险怎么规避？
A：重点！采集公开数据虽不违法，但要注意：
1. 别碰用户隐私数据（电话号码、私信内容）
2. 设置robots.txt解析器避开禁止目录
3. 商用建议购买ipipgo的合规数据包服务

市面上代理服务商鱼龙混杂，有些小作坊的IP池子就几百个地址反复用。之前测试过某家，20个IP里有18个都在Yelp黑名单里。ipipgo有个独家优势是实时更新热数据，他们的爬虫团队每天在更新可用IP段。

最后给个忠告：别在账号登录状态下采集！Yelp的账号系统跟IP、设备、行为三绑定，一旦异常立马红牌。建议用游客模式采集，非要登录的话，记得每个账号绑定独立IP+独立浏览器环境。