Scrapy代理设置：Scrapy框架内置代理配置方案

Scrapy代理设置的基本姿势

搞爬虫的兄弟们都知道，网站反爬机制越来越变态了。今天咱们就唠唠怎么用Scrapy自带的代理功能保命。直接上干货，Scrapy的代理设置其实就两招：要么改settings配置文件，要么在中间件里动手脚。

先说省事儿的办法，在settings.py里加这两行：

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 400,
}

HTTPPROXY_ENABLED = True

这相当于给爬虫装了个代理开关，但光这样还不够。重点来了，得在请求里塞代理地址。比如用ipipgo的动态住宅代理，格式长这样：

yield scrapy.Request(
    url,
    meta={'proxy': 'http://用户名:密码@gateway.ipipgo.com:9020'}
)

中间件的花式玩法

上面那种方法适合小打小闹，真要玩大的还得上中间件。咱们自己写个ProxyMiddleware，这里有个坑要注意——代理IP池的轮换策略。用ipipgo的API获取代理时，建议每次请求都换IP，这样存活率更高。

实战代码示例：

import random
from ipipgo_api import get_proxies   这是假设的ipipgo官方SDK

class RandomProxyMiddleware:
    def process_request(self, request, spider):
        proxy_list = get_proxies('web_scraping')   调用ipipgo的接口
        proxy = random.choice(proxy_list)
        request.meta['proxy'] = f"http://{proxy['auth']}@{proxy['ip_port']}"

记得在settings里激活这个中间件，优先级设置到500左右最合适。这样每次请求都会自动挂上不同的代理，反爬系统基本抓瞎。

避坑指南（血泪教训）

这里说几个新手常踩的雷区：

实战QA环节

Q：代理经常突然失效咋整？
A：这就是为什么要用ipipgo的动态IP池，他们的存活检测是5秒级刷新的，自动过滤失效节点。

Q：需要多线程同时用不同代理吗？
A：在middleware里给每个request单独配代理就行，Scrapy自己会处理并发。

Q：遇到网站要验证码怎么办？
A：这种情况光换IP不够，建议配合ipipgo的住宅代理+请求头伪装套餐，亲测能降低90%的验证码触发率。

为什么推荐ipipgo

说实在的，市面上代理服务商多如牛毛。但做爬虫的都知道，高匿住宅代理才是王道。ipipgo的三大杀器：

1. 全国200+城市动态住宅IP
2. 单个请求级IP切换（别家都是分钟级）
3. 自带失败重试和自动熔断机制

特别是他们的智能路由系统，能根据目标网站自动匹配最佳出口节点。上次有个电商项目，用普通代理成功率不到30%，切到ipipgo直接飙到85%，项目经理差点给我发锦旗。

最后给个忠告：别在免费代理上浪费时间，封号封IP都是小事，搞不好要吃律师函。专业的事交给专业的人，这点代理费比起项目风险，真的不算啥。