Yelp数据抓取器: 商家评分采集方案

真实案例：为什么你总被Yelp踢出门？

上周有个做餐饮分析的朋友找我吐槽，说他用Python脚本抓Yelp商家评分，结果刚跑半小时IP就被封了。这哥们不信邪换了自家WiFi重试，结果连手机热点都遭殃——现在连正常看网页都弹出验证码。这种情况太常见了，Yelp的反爬机制就像餐馆门口的保安，专门盯着频繁进出的可疑分子。

代理IP的妙用：给爬虫穿「隐身衣」

想不被发现就得学会「变装」，这里说的就是代理IP。假设你本来住在北京朝阳区（IP：123.45.67.89），用ipipgo的代理服务后，每次访问Yelp都会随机切换：

import requests
from itertools import cycle

proxies = ipipgo.get_proxy_pool()   获取动态IP池
proxy_cycler = cycle(proxies)

for page in range(1,101):
    current_proxy = next(proxy_cycler)
    response = requests.get(
        f"https://www.yelp.com/search?page={page}",
        proxies={"http": current_proxy, "https": current_proxy}
    )
     处理数据逻辑...

这就像每次进餐馆都换不同衣服，服务员根本认不出是同一个人。注意要选住宅IP，机房IP容易被识破——这里推荐ipipgo的真实住宅代理池，实测过夜跑数据成功率能到92%。

实战避坑指南：三个关键细节

很多人以为用了代理就万事大吉，结果还是栽跟头。这三个细节不注意等于白忙活：

特别提醒：别在代码里写死代理地址！建议用ipipgo的API动态获取，他们每5分钟自动更新IP池，比自己维护省心多了。

小白也能懂的配置流程

以Python为例，五步完成部署：

1. 注册ipipgo账号领取试用包
2. 在控制台生成API密钥
3. 安装官方SDK：pip install ipipgo-client
4. 初始化代理池（代码见上文示例）
5. 设置随机+UA切换

重点说下设置，千万别用固定sleep！要像真人操作那样随机停顿：

import random
import time

 更自然的等待策略
def human_delay():
    base = 3 if 8<datetime.now().hour<23 else 1.5
    return base  random.uniform(0.8, 1.2)

time.sleep(human_delay())

常见问题QA

Q：被封的IP还能用吗？
A：建议冷却24小时，ipipgo的IP池容量够大（2000万+），直接切新IP更高效

Q：需要自己维护代理服务器吗？
A：完全不用！ipipgo提供现成的API接入，支持自动重试和失败切换

Q：为什么推荐动态住宅IP？
A：机房IP段早被各大平台标记了，住宅IP更接近真实用户行为，这也是ipipgo的核心优势

Q：遇到验证码怎么办？
A：这属于反爬升级信号，立即降低频率并更换IP。ipipgo的高匿代理套餐内置验证码绕过功能，可联系客服开通

最后说个冷知识：Yelp的评分更新周期是72小时，建议每周抓三次足够。没必要24小时盯着跑，既费资源又容易被封。用好代理工具，数据采集本就应该这么简单。