scrapy ip代理设置：Scrapy爬虫框架配置代理IP中间件

手把手教你给Scrapy爬虫套上”隐身衣”

搞爬虫的兄弟都懂，网站反爬就像给数据加了防盗门。这时候代理IP就是咱们的万能钥匙，特别是用Scrapy这种框架干活，不学会代理设置等于裸奔上网。今天咱不讲虚的，直接上硬菜。

代理中间件到底是啥玩意儿

Scrapy的中间件机制就像快递分拣站，每个请求都要从这里过。咱们要做的，就是在请求发出前给它换个”发货地址”。具体说就是在DOWNLOADER_MIDDLEWARES里动手脚，让每个请求自动带上代理IP。

 settings.py里加这段
DOWNLOADER_MIDDLEWARES = {
    '你的项目名.middlewares.ProxyMiddleware': 543,
}

动态VS静态代理怎么选

这里有个坑得提醒：别以为随便找个代理就能用！根据业务需求选类型很重要：

像ipipgo的动态住宅（企业）套餐，9块多1G流量，特别适合需要高匿名的场景。他们的Socks5协议支持对Scrapy很友好，后面会教具体咋配。

实战代码模板（可直接套用）

 middlewares.py
import random

class ProxyMiddleware(object):
    def process_request(self, request, spider):
         这里换成自己的代理池
        proxy_list = [
            'socks5://user:pass@ip.ipipgo.net:15236',
            'http://user:pass@gateway.ipipgo.com:2080'
        ]
        proxy = random.choice(proxy_list)
        request.meta['proxy'] = proxy
         建议加个超时设置
        request.meta['download_timeout'] = 30

注意！用ipipgo的代理时，记得在官网后台生成白名单IP，否则会认证失败。他们的API能实时获取最新代理，比手动维护省事多了。

常见坑点排雷指南

Q：代理老是连不上咋整？
A：先检查协议类型对不对，https网站别用http代理。ipipgo的客户端有自动检测功能，建议先用他们的测试工具验证

Q：设置了代理反而更慢了？
A：八成是用了数据中心代理，这种虽然快但容易被封。换成住宅代理，像ipipgo的静态住宅虽然单价高点（35元/个），但稳定性吊打普通代理

Q：需要多地区IP怎么办？
A：在代理地址后加国家代码参数，比如@gateway.ipipgo.com?country=us。他们支持200+国家地区，做跨境电商数据采集的兄弟这个功能很实用

高阶玩法小贴士

1. 在retry中间件里加代理切换逻辑，遇到403自动换IP
2. 搭配自定义User-Agent使用，防封效果翻倍
3. 用ipipgo的TK专线处理特殊反爬机制，某些电商平台需要这个

最后说个重点：别在免费代理上浪费时间！自己维护代理池的成本绝对比买现成服务高。像ipipgo的动态套餐7块多1G，够爬几十万页面了，有这功夫不如多写两个爬虫脚本。