scrapy怎么实现代理ip？中间件配置与自动轮换实战

一、为什么你的爬虫必须用代理IP？

搞爬虫的兄弟都懂，网站反爬机制就像小区保安——你每天从同一个门进出十几次，人家不拦你才怪。这时候代理IP就是你的备用钥匙串，每次用不同钥匙开门，保安压根记不住你长啥样。

举个真实例子：某电商平台用普通爬虫连续请求，不到半小时就被封IP。换成动态代理IP池后，连续采集三天都没触发封禁。这就是IP轮换的魔力，让目标网站以为是不同用户在访问。

二、Scrapy中间件配置三步走

先上硬货，直接看核心配置代码：

 settings.py里加上这两行
DOWNLOADER_MIDDLEWARES = {
    'your_project.middlewares.ProxyMiddleware': 543,
}

 middlewares.py里写这个类
class ProxyMiddleware(object):
    def process_request(self, request, spider):
        proxy = "http://用户名:密码@gateway.ipipgo.com:端口"
        request.meta['proxy'] = proxy

这里有个坑要注意：很多教程教人用免费代理，结果连不上就抓瞎。建议直接用ipipgo动态住宅代理，他们家的代理地址格式是gateway.ipipgo.com，记得替换你自己的账号密码。

三、自动轮换的骚操作

手动换代理太low，咱们玩自动化的：

import random

class ProxyRotatorMiddleware:
    def __init__(self):
        self.proxy_list = [
            "http://user1:pass1@gateway.ipipgo.com:30001",
            "http://user2:pass2@gateway.ipipgo.com:30002",
            ...更多代理节点
        ]
    
    def process_request(self, request, spider):
        proxy = random.choice(self.proxy_list)
        request.meta['proxy'] = proxy
        spider.logger.debug(f"当前使用代理：{proxy}")

实测用ipipgo动态住宅企业版套餐，每次请求自动切换不同国家IP。之前有个做跨境电商的朋友，用这个方法同时采集10个国家的商品价格，成功率从47%直接飙到92%。

四、防封实战经验包

这几个坑我亲自踩过：

• 别用公共代理池！去年某爬虫框架的公共代理接口被大面积封杀
• 设置超时时间别太抠门，建议3-5秒比较稳妥
• 遇到验证码别硬刚，建议用ipipgo静态住宅代理保持长会话

五、为什么推荐ipipgo？

QA急救包

Q：代理突然失效咋办？
A：检查账号有效期，如果是ipipgo用户，后台有实时用量监控，建议设置用量预警

Q：怎么测试代理是否有效？
A：用这个命令快速检测：curl –proxy http://代理地址 -I https://www.example.com

Q：需要配合多账号吗？
A：看业务规模，小规模用ipipgo动态套餐足够。日采百万级数据建议上企业版+多子账号