Python crawler proxy IP settings: requests library and scrapy framework configuration

手把手教你给爬虫穿隐身衣

搞爬虫的兄弟们都懂，没两件隐身衣根本混不下去。今天咱们就唠唠怎么用requests和scrapy这两把刷子，给爬虫套上ipipgo家的代理马甲。这可不是随便找几个免费代理能比的，专业的事儿就得找专业团队。

requests库代理设置实战

先说最常用的requests，其实加代理就两行代码的事。但这里边讲究可不少，比如会话保持和自动切换，用ipipgo的动态住宅代理最合适。

import requests

 动态住宅代理示例（记得换成自己账号）
proxies = {
    'http': 'http://用户名:密码@gateway.ipipgo.com:端口',
    'https': 'http://用户名:密码@gateway.ipipgo.com:端口'
}

 带超时重试的请求
session = requests.Session()
adapter = requests.adapters.HTTPAdapter(max_retries=3)
session.mount('http://', adapter)
session.mount('https://', adapter)

response = session.get('https://目标网站', proxies=proxies, timeout=10)

Atención concentrada:ipipgo的代理地址要按他们给的接入点来，不同套餐的接入域名可能不一样。动态代理建议每次请求都新建会话，这样自动切换IP更丝滑。

Scrapy框架代理配置妙招

Scrapy的代理配置稍微复杂点，但掌握诀窍就简单了。推荐用中间件方案，这里以静态住宅代理为例：

 settings.py里添加
DOWNLOADER_MIDDLEWARES = {
    '你的项目名.middlewares.ProxyMiddleware': 543,
}

 middlewares.py中间件
class ProxyMiddleware(object):
    def process_request(self, request, spider):
        request.meta['proxy'] = "http://用户名:密码@static.ipipgo.com:端口"
         设置IP有效期（单位秒）
        request.meta['bind_time'] = 180  

用ipipgo静态代理时记得开conexión larga，他们家的IP存活时间能到24小时，适合需要固定IP的场景。要是做数据采集，建议买企业版套餐，并发量能到500+。

Directrices sobre desminado de problemas comunes

Q：代理总连接超时咋整？
A：先检查白名单设置，ipipgo需要绑定服务器IP。如果走的是账号密码验证，注意url特殊符号要转义。

Q：需要指定美国某个城市的IP怎么办？
A：在代理地址后面加参数就行，比如...gateway.ipipgo.com:端口?country=US&city=Los_Angeles，具体参数值去他们后台查。

Q：同时用动态和静态代理怎么管理？
A：建议分两个中间件处理，用scrapy的优先级设置。高频请求用动态代理，关键业务用静态，这样成本效率两不误。

¿Por qué ipipgo?

自家爬虫业务实测数据：用普通代理成功率不到60%，切到ipipgo动态住宅直接飙到92%。他们家的Posicionamiento en la ciudad是真准，做本地化采集时能精确到街区。还有个隐藏功能——在代理参数里加isp=AT&T能指定运营商，这个对某些反爬严格的特好使。

最后说个坑：别图便宜买小作坊的代理，之前测试过某家的IP，10个里头8个都在黑名单里。ipipgo虽然贵点，但人家有Piscina IP residencial en la vida real，做正经业务的还是得用靠谱的。