抓取eBay商品列表：Python爬虫项目实战教程

为什么抓取eBay需要代理IP？

当你用Python爬虫频繁访问eBay时，很快会发现请求被限制或封禁。这是因为电商平台对机器人访问非常敏感，会通过IP地址识别异常流量。单个IP连续发送大量请求就像同一个人反复进出商店却不购物，自然会引起警惕。

使用ipipgo的代理IP服务能有效解决这个问题。通过轮换不同IP地址，你的爬虫请求会分散到多个网络出口，模拟真实用户从不同地区访问的行为。特别是ipipgo的动态住宅代理IP来自真实家庭网络，更不容易被平台识别为爬虫。

项目环境准备

开始前需要安装几个必要的Python库：

pip install requests beautifulsoup4 lxml

这里我们选择requests发送HTTP请求，BeautifulSoup解析HTML页面。这两个库组合使用简单高效，适合大多数爬虫场景。

获取ipipgo代理IP

首先登录ipipgo控制台，选择动态住宅代理套餐。这类IP适合商品列表抓取，因为：

• IP自动轮换，减少被封风险
• 来自真实住宅网络，隐蔽性强
• 按流量计费，成本可控

获取代理连接信息后，我们可以这样配置：

PROXY_CONFIG = {
    "http": "http://用户名:密码@gateway.ipipgo.com:端口",
    "https": "http://用户名:密码@gateway.ipipgo.com:端口"
}

基础爬虫代码实现

下面是一个简单的eBay商品列表抓取示例：

import requests
from bs4 import BeautifulSoup
import time
import random

def get_ebay_products(keyword, pages=3):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
    }
    
    products = []
    
    for page in range(1, pages+1):
         每次请求前随机延迟
        time.sleep(random.uniform(1, 3))
        
        url = f"https://www.ebay.com/sch/i.html?_nkw={keyword}&_pgn={page}"
        
        try:
            response = requests.get(url, headers=headers, 
                                  proxies=PROXY_CONFIG, timeout=10)
            
            if response.status_code == 200:
                soup = BeautifulSoup(response.text, 'lxml')
                items = soup.select('.s-item__info')
                
                for item in items:
                    title_elem = item.select_one('.s-item__title')
                    price_elem = item.select_one('.s-item__price')
                    
                    if title_elem and price_elem:
                        product = {
                            'title': title_elem.text.strip(),
                            'price': price_elem.text.strip()
                        }
                        products.append(product)
                        
        except Exception as e:
            print(f"第{page}页抓取失败: {e}")
            continue
            
    return products

 使用示例
if __name__ == "__main__":
    results = get_ebay_products("iphone")
    for product in results[:5]:   只显示前5个结果
        print(f"商品: {product['title']} - 价格: {product['price']}")

高级技巧：智能IP轮换策略

单纯的请求还不够，需要更智能的IP管理：

1. 会话保持

对于需要登录或保持状态的操作，使用ipipgo的粘性会话功能：

session = requests.Session()
session.proxies = PROXY_CONFIG

 同一个会话会使用相同出口IP
response1 = session.get("https://www.ebay.com/")
response2 = session.get("https://www.ebay.com/favorites")   保持登录状态

2. 失败重试机制

def request_with_retry(url, max_retries=3):
    for attempt in range(max_retries):
        try:
            response = requests.get(url, proxies=PROXY_CONFIG, timeout=15)
            if response.status_code == 200:
                return response
            else:
                 更换IP重试
                change_proxy_ip()
        except:
            if attempt == max_retries - 1:
                raise
            time.sleep(2  attempt)   指数退避
    return None

数据解析与存储

抓取到的数据需要妥善处理：

import csv
import json
from datetime import datetime

def save_products(products, format='csv'):
    timestamp = datetime.now().strftime("%Y%m%d_%H%M%S")
    
    if format == 'csv':
        filename = f"ebay_products_{timestamp}.csv"
        with open(filename, 'w', newline='', encoding='utf-8') as f:
            writer = csv.DictWriter(f, fieldnames=['title', 'price'])
            writer.writeheader()
            writer.writerows(products)
    else:
        filename = f"ebay_products_{timestamp}.json"
        with open(filename, 'w', encoding='utf-8') as f:
            json.dump(products, f, ensure_ascii=False, indent=2)
    
    print(f"数据已保存到: {filename}")

常见问题与解决方案

Q: 为什么我的爬虫还是被eBan检测到了？

A: 除了使用代理IP，还需要注意：

• 设置合理的请求间隔（建议2-5秒）
• 使用真实的User-Agent头
• 模拟人类浏览行为（滚动、点击等）
• 避免在高峰期集中访问

Q: ipipgo的动态和静态住宅代理有什么区别？

A: 两者的主要区别如下：

Q: 如何处理JavaScript渲染的内容？

A: 对于动态加载的内容，可以考虑使用Selenium配合ipipgo代理：

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType

proxy = Proxy()
proxy.proxy_type = ProxyType.MANUAL
proxy.http_proxy = "gateway.ipipgo.com:端口"

options = webdriver.ChromeOptions()
options.add_argument(f'--proxy-server=http://用户名:密码@gateway.ipipgo.com:端口')
driver = webdriver.Chrome(options=options)

项目优化建议

在实际项目中，还可以进一步优化：

• 使用异步请求提高效率（aiohttp + asyncio）
• 实现分布式爬虫架构
• 添加监控告警机制
• 定期更新爬取策略应对反爬机制变化

通过合理使用ipipgo的代理IP服务，结合上述技术方案，你可以构建稳定高效的eBay数据采集系统。记住，成功的爬虫项目不仅在于技术实现，更在于对目标网站规则的尊重和合理使用。