Python crawler agent setup details: requests and scrapy library practical teaching

搞爬虫为啥总被封？代理IP才是保命符

做爬虫的老铁们应该都经历过，昨天还好好的脚本今天突然就403了。其实这事儿就跟打游戏开挂一样，你用同一个IP疯狂请求，网站不封你封谁？这时候就需要代理IP来Disguise your true identity，让网站以为每次请求都是不同用户在操作。

Requests库设置代理的骚操作

先看最简单的requests库设置，别傻乎乎地用time.sleep硬撑了。直接上代码：

import requests

proxies = {
    'http': 'http://用户名:密码@gateway.ipipgo.com:端口',
    'https': 'http://用户名:密码@gateway.ipipgo.com:端口'
}

resp = requests.get('目标网址', proxies=proxies)

这里有个坑要注意：ipipgo的隧道代理不需要轮换IP，他们的网关会自动分配。如果是动态住宅套餐，记得在账号管理后台设置IP Survival Time，短时效适合抢购类业务，长时效适合需要保持会话的场景。

Scrapy框架的代理生存指南

Scrapy的中间件机制更灵活，建议直接在settings.py里配置：

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 400,
}

IPIPGO_PROXY = "http://用户名:密码@gateway.ipipgo.com:端口"

def process_request(self, request, spider):
    request.meta['proxy'] = self.IPIPGO_PROXY

实测发现用他们的静态住宅代理做电商采集时，成功率能到99%以上。特别是需要保持登录状态时，选静态IP套餐的会话保持功能，比动态IP稳定得多。

What is so strong about ipipgo?

用过七八家代理服务，最后锁定ipipgo主要因为这几点：

theirSERP API接口做谷歌采集是真香，直接省去解析页面的麻烦。上次做个SEO监控项目，用他们的按结果计费模式，成本比自建代理池低一半。

Frequently Asked Questions First Aid Kit

Q: Proxy set or blocked?
A：检查是否启用了本地DNS，建议在代码里强制指定DNS服务器。ipipgo后台可以开启DNS清洗模式，能有效避免DNS污染

Q：需要采集美国特定城市的网站怎么办？
A：在代理地址后面加参数，比如gateway.ipipgo.com:8000country=us&state=texas。他们的城市定位精度能到街道级别，做本地化采集特别方便

Q：并发高了代理就失效？
A：把套餐升级到企业版，支持每秒100+请求。记得在代码里做异步请求队列，用aiohttp+代理网关能轻松吃满带宽

Avoiding the pit experience

1. 别在代码里写死代理地址，建议用环境变量配置。ipipgo支持API动态获取网关地址，防止单个网关被封锁
2. 做分布式爬虫时，把账号的子密钥分发给各节点，这样不会互相挤下线
3. 遇到验证码别硬刚，他们的套餐可以绑定打码服务，在代理网关层面自动处理
4. 重要项目建议上跨境专线，实测延迟能压到2ms以内，比普通代理快10倍不止

最后说个骚操作：用他们的静态住宅IP注册海外社媒账号时，记得先开浏览器手动登录一次，让IP通过平台的风控检测，再挂到爬虫上用，成功率直接翻倍。这招做跨境电商的朋友都说好使，谁用谁知道！