爬取eBay：eBay商品数据采集

为啥爬eBay非得用代理IP？

搞过数据采集的老铁都知道，eBay的反爬机制比亲妈查岗还严。举个栗子，你要是用自家网络连着狂刷页面，不到半小时准给你IP送进小黑屋。这时候就需要代理IP来当替身——好比打游戏开小号，封了再换，完全不伤主号。

最近有个做比价网站的兄弟就栽了跟头，他团队连续三天被封了20多个IP，店铺数据还没扒完就凉凉。后来用了咱们ipipgo的住宅代理，直接挂着500个IP轮换采集，连续三天三夜没被察觉。

选代理IP的三大命门

市面代理千千万，但适合爬eBay的就那么几类：

重点说下ipipgo的智能轮换方案，他们家IP池子有两大杀器：
1. 自动匹配目标网站所在地理位置
2. 请求失败超过3次自动切换新IP
这对采集跨国电商数据特管用，比如你要爬德国站，系统自动分配法兰克福的出口IP。

实战代码示例

这里给个Python的requests配置模板（记得装好ipipgo的SDK）：

import requests
from ipipgo import Rotator

proxy = Rotator(
    api_key="你的ipipgo密钥",
    strategy="country:us"   指定美国出口
)

url = "https://www.ebay.com/itm/123456"
headers = {'User-Agent': 'Mozilla/5.0'} 

for _ in range(100):
    with proxy.get_session() as s:
        resp = s.get(url, headers=headers)
        print(resp.text[:500])   打印前500字符
        time.sleep(random.uniform(1,3))   随机延迟防检测

注意这个随机延迟特别关键，eBay的反爬会计算请求间隔的标准差。建议设置1-5秒不规则停顿，别整固定时间间隔。

防封必看五要素

根据我们测试团队三个月的数据：

成功率对比：
┌──────────────┬─────────┐
| 防护措施     | 存活率  |
├──────────────┼─────────┤
| 裸奔直连     | 17%     |
| 普通代理     | 43%     |
| ipipgo方案   | 89%     |
└──────────────┴─────────┘

要实现高存活必须做到：
1. 每次请求更换User-Agent
2. 携带完整cookie链
3. 模拟真人点击轨迹（别直接访问API）
4. 处理图片验证码时用ipipgo的容灾机制自动切换IP
5. 避开高峰期采集（美西时间凌晨3-6点最优）

QA急救包

Q：总遇到403错误咋整？
A：先检查请求头是否包含Accept-Encoding，然后确认代理IP的匿名级别。用ipipgo的高匿代理基本不会出这事。

Q：采集速度慢得像蜗牛？
A：别用免费代理！建议开ipipgo的并发套餐，50个线程+500IP池，一小时能撸上万商品详情。

Q：数据老是缺胳膊少腿？
A：八成是被反爬截胡了，在xpath解析前加个状态码判断：

if resp.status_code == 200 and "ds_div" in resp.text:
     正常解析
else:
    proxy.ban_current_ip()   自动拉黑失效IP

说点大实话

见过太多人贪便宜用免费代理，结果被封IP都是小事，严重的账号都被扬了。现在靠谱代理都不贵，像ipipgo的新人套餐，20块钱能用500个优质IP，平摊到每个请求才几厘钱，比被封号重新养号划算多了。

最后提醒下，别在代码里写死代理地址！最好用环境变量配置，这样切换服务商不用改代码。比如：

import os
proxy_url = os.getenv('IPIPGO_ENDPOINT','http://gateway.ipipgo.io:8000')

照着这个套路整，保证你爬eBay数据跟德芙一样丝滑。有啥实操问题可以去ipipgo官网找技术支持，他们24小时真人客服比某些平台的机器人靠谱多了。