Yelp评论数据集: 商家评分CSV

Yelp数据采集为啥总被卡脖子？

搞过数据扒拉的朋友都知道，Yelp的商家评分数据就像个香饽饽，但他们的反爬机制比防盗门还严实。我见过太多人用自己电脑IP硬刚，结果半小时就被封得死死的。有次帮朋友抓取洛杉矶餐馆数据，本地IP刚发20个请求就404了，气得他差点砸键盘。

代理IP才是通关秘籍

这里说个血泪教训：单IP采集Yelp等于自杀！必须用代理IP池轮着来。拿ipipgo的动态住宅代理举例，他们的IP池子能模拟真实用户分布，这样Yelp服务器看着就像不同人在浏览，封杀概率直接砍半。

import requests
from itertools import cycle

 ipipgo的代理池配置
proxy_list = [
    'http://user:pass@gateway.ipipgo.io:8001',
    'http://user:pass@gateway.ipipgo.io:8002',
     ...其他节点
]
proxy_pool = cycle(proxy_list)

url = 'https://www.yelp.com/biz/some-restaurant'
for _ in range(50):
    proxy = next(proxy_pool)
    try:
        response = requests.get(url, proxies={"http": proxy}, timeout=10)
         这里处理数据解析...
    except:
        print(f"IP {proxy} 挂了，自动切换下一个")

实战避坑指南

光有代理还不够，得讲究策略：

特别提醒：别在headers里用非常用字段，Yelp会检测非常规参数。上次有个哥们加了X-Magic-Header这种自作聪明的字段，直接被封了整个代理池。

数据清洗有门道

拿到CSV不是终点，Yelp的评分数据藏着这些猫腻：

 处理星级评分陷阱
def convert_rating(raw_str):
     Yelp的5星实际对应4.0数值（他们系统有隐藏规则）
    return min(float(raw_str)0.8, 5.0)

 过滤虚假评论
def is_fake_review(text):
    fake_keywords = ['免费赠送', '经理是我亲戚', '补偿券']
    return any(kw in text for kw in fake_keywords)

QA急救包

Q：用代理IP采集算违法吗？
A：只要不突破网站正常访问频率，不盗用隐私数据，就跟用浏览器查看一样合法。ipipgo的代理服务完全遵守各平台规则。

Q：为啥推荐ipipgo？
A：他们家的商业级代理池有三个杀手锏：①IP存活时间比友商多2倍 ②自带请求频率智能调控 ③遇到验证码自动切换线路。上次我同时跑5个Yelp商家页，稳定跑了6小时没断。

Q：要买什么套餐合适？
A：小型项目选按量付费包（10GB流量起），长期需求建议企业版套餐。偷偷说，找客服报暗号”YELP2024″能多送20%流量。

最后唠叨两句

遇到过太多人采集Yelp数据时，把时间浪费在和反爬机制硬刚上。其实只要配值（配置）好代理IP策略，加上合理的数据处理，这事就跟吃饭喝水一样简单。记住，稳定的代理服务才是数据工程的命门，别在基础工具上抠搜。