亚马逊产品评论数据集: 商品评价数据包

搞亚马逊评论数据，为啥非得用代理ip？

做电商的朋友都知道，想分析竞品就得盯着商品评价看。但直接爬亚马逊数据，十有八九会被封IP。上个月我帮朋友搞个母婴用品的评价分析，本地IP刚抓了200条数据，咔嚓就被封了，气得他差点砸键盘。

这时候就得靠代理ip池轮换来破局。原理很简单：每次请求换个”马甲”，让平台以为是不同用户在访问。好比你去超市试吃，每次都换件外套，店员就认不出你是同一个人。

import requests
from ipipgo import get_proxy   这里用ipipgo的SDK

def scrape_amazon_reviews(product_id):
    proxy = get_proxy(type='https', country='us')   自动分配美国住宅ip
    headers = {'User-Agent': 'Mozilla/5.0'}   记得伪装浏览器
    
    try:
        response = requests.get(
            f'https://www.amazon.com/product-reviews/{product_id}',
            proxies={'https': proxy},
            headers=headers,
            timeout=10
        )
        return response.text
    except Exception as e:
        print(f'抓取出错，自动切换ip重试 | 错误信息:{str(e)}')
        return scrape_amazon_reviews(product_id)   自动重试机制

选代理ip的三大坑，90%的人都栽过

市面上的代理服务鱼龙混杂，我见过最离谱的案例：某公司买了低价代理套餐，结果50%的ip都是亚马逊黑名单里的。这里教大家避坑：

手把手教你用ipipgo搞数据

注册完ipipgo账号后，重点看这两个功能：

1. 智能轮换模式：设置每5次请求自动换IP，配合随机UA头，亲测连续抓3小时没被ban

2. 失败重试机制：遇到验证码自动切换IP重试，比手动处理效率高10倍不止

 配置智能轮换策略
from ipipgo import RotatingProxy

proxy_config = {
    'strategy': 'smart_rotate',   智能模式
    'requests_per_ip': 5,         每个IP用5次
    'retry_times': 3,             失败重试3次
    'geo_target': 'us-west'       指定美国西部IP
}

with RotatingProxy(proxy_config) as proxy:
     你的爬虫代码...

常见问题QA

Q：用代理IP会被亚马逊起诉吗？
A：只要不涉及恶意攻击、遵守robots.txt规则，单纯采集公开数据是合法的。ipipgo的服务协议也明确禁止非法用途。

Q：需要多少IP才够用？
A：日采1万条评论的话，建议准备500+高质量住宅IP。ipipgo的商务套餐刚好包含600IP/天的配额，还送请求失败自动补量。

Q：遇到验证码怎么破？
A：别硬刚！立即降低请求频率，切换ipipgo的高匿住宅IP，配合自动化打码服务（注意要另购）。

说点掏心窝的经验

去年帮某3C大厂做竞品分析，用ipipgo的城市级定向IP发现个现象：洛杉矶用户更在意产品设计，纽约客更关注功能参数。这种地域化差异数据，用普通代理根本抓不到。

最后提醒新手：别图便宜买垃圾代理！之前有朋友贪便宜，结果被供应商坑了——给的IP全是亚马逊标记过的，刚启动程序就被封账号，赔了夫人又折兵。