Python请求超时设置: 代理IP优化爬虫性能

被网站拉黑才明白的道理

刚学爬虫那会儿，总以为代码跑起来就万事大吉。直到有天连续收到403错误，盯着屏幕上“您的访问过于频繁”的提示，才意识到网站的反爬机制比想象中敏感。这时候光靠换User-Agent已经不好使了，得拿出更专业的解决方案。

超时设置是门玄学

很多新手容易忽略timeout参数，结果程序动不动就卡死。举个栗子，用requests库时这样写最保险：

response = requests.get(url, timeout=(3.05, 27))

这里3.05秒是连接超时，27秒是读取超时。别用整数，带小数点能避免和某些服务器的时间设置冲突。要是超过设定时间还没反应，赶紧断掉连接换下一个任务，别在一棵树上吊死。

代理IP的正确打开方式

单机高频请求就像用同一把钥匙不停开锁，迟早被锁匠发现。这时候就需要ipipgo的动态代理服务，让每次请求都换上不同的”外套”。他们家的IP池更新频率够快，实测每小时能自动切换200+有效节点。

proxies = {
    'http': 'http://user:pass@gateway.ipipgo.com:9020',
    'https': 'http://user:pass@gateway.ipipgo.com:9020'
}
response = requests.get(url, proxies=proxies, timeout=10)

性能调优三板斧

实战踩坑记录

有次爬政府公开数据，设置了3秒超时。结果某些字段多的页面老是超时，后来发现是SSL握手耗时太长。把连接超时调到5秒，读取超时保持15秒，问题迎刃而解。这种细节在官方文档可不会写，都是血泪教训。

QA急救包

Q：用了代理为什么还是被封？
A：检查IP使用频次，建议单个IP每小时请求不超过50次。ipipgo的后台可以设置自动切换频率

Q：超时设置多少合适？
A：先看网站平均响应速度，测试期间用10秒基准线，正式运行缩短到70%时间

Q：代理IP突然失效怎么办？
A：在异常处理模块加入重试机制，像这样：

try:
     正常请求代码
except (Timeout, ProxyError):
    ipipgo.refresh_ip()   调用API换IP
    logger.warning("触发熔断机制")

说点大实话

爬虫本质是和网站运维斗智斗勇。上次用ipipgo的地域定向功能，专门调用上海机房的IP抓本地论坛，成功率直接翻倍。他们技术人员还教了个绝招：把超时时间和代理切换策略绑定，慢速节点自动降级，这套组合拳下来，采集效率提升了三倍不止。