Yelp数据抓取: 商家评论采集方案

真实场景里为啥要搞Yelp评论？

开餐馆的朋友最近找我吐槽，说想看看竞对店铺的顾客反馈。这年头做餐饮，光会炒菜可不够，得摸清用户真实评价才能改进服务。Yelp上动辄几千条评论，手动抄录能累死人，这就得用上自动化采集。

但直接开爬虫容易被封IP，特别是连续请求时。去年有个案例，某连锁品牌用单IP抓数据，结果触发风控导致整个公司网络被拉黑三天，损失惨重。

代理IP怎么破这个局？

这里有个关键认知：网站封禁机制主要看两个指标——访问频率和IP轨迹。好比你去银行取钱，柜台每天见几百人，但要是同个人十分钟内反复来办业务，保安肯定得注意。

用ipipgo的代理池服务，就像每次进银行都换身衣服+易容。具体操作分三步走：

import requests
from itertools import cycle

 从ipipgo获取的代理列表
proxies = [
    "http://user:pass@gateway.ipipgo:9020",
    "http://user:pass@gateway.ipipgo:9021",
     ...其他节点
]
proxy_pool = cycle(proxies)

for page in range(1, 101):
    current_proxy = next(proxy_pool)
    try:
        resp = requests.get(
            f"https://www.yelp.com/biz/xxx/review_feed?start={page20}",
            proxies={"http": current_proxy},
            timeout=8
        )
         解析数据逻辑...
    except Exception as e:
        print(f"用{current_proxy}时翻车：{str(e)}")

实战避坑指南

别以为挂上代理就万事大吉，这里有几个血泪教训：

1. 别用免费代理（速度慢不说，还可能被中间人攻击）
2. 每次请求随机换User-Agent，别用Python默认的
3. 控制访问节奏，建议每页间隔3-8秒随机休眠
4. 遇到验证码立即暂停，换新IP再试

推荐用ipipgo的长效静态住宅IP，这类IP带真实家庭宽带属性，比机房IP更难被识别。实测用他家美国住宅节点，连续采集200页才触发验证，普通机房IP通常30页就挂。

常见问题QA

Q：采集Yelp评论合法吗？
A：取决于数据用途，建议只采集公开可见内容，且不用于商业竞争。最好咨询法律顾问

Q：ipipgo的代理套餐怎么选？
A：小型项目用按量付费套餐，长期需求选包月套餐更划算。新用户记得领3G流量试用包

Q：采集到数据存哪里合适？
A：建议用CSV格式存储，字段包含评论内容、评分、日期。千万别直接存数据库，容易留下操作痕迹

进阶技巧：分布式采集

当需要采集多个城市数据时，可以用ipipgo的城市级定位功能。比如要抓洛杉矶和纽约的餐厅评论，分别指定这两个城市的出口IP，能降低被反爬的概率。

这里有个配置示例表：

最后提醒：数据采集是门平衡的艺术，既要效率又要隐蔽。选对工具只是第一步，持续调整策略才能长期稳定运行。用ipipgo的客户支持服务，遇到技术问题可以直接找他们工程师要现成方案，比自己折腾省心得多。