PythonHTTP请求: Requests库高级用法

江湖救急！Python爬虫被封IP的破解之道

搞爬虫的老铁们应该都经历过这个场景：程序跑得好好的，突然就卡壳了，一看日志满屏的429、503错误。这时候别急着砸键盘，八成是目标网站把你的IP给封了。今天咱们就唠唠怎么用requests库+代理IP破解这个困局。

给爬虫穿件隐身衣

requests库配代理就像给程序穿隐身衣，重点在session对象的应用。举个栗子：

import requests
from itertools import cycle

 从ipipgo搞来的代理池
proxy_pool = cycle([
    "http://user:pass@gateway.ipipgo.com:8001",
    "http://user:pass@gateway.ipipgo.com:8002"
])

session = requests.Session()
session.proxies = {"http": next(proxy_pool)}

 像平常一样发请求
response = session.get("https://target-site.com/data")

这里有个骚操作：用itertools.cycle搞了个代理池轮询，比单代理稳得多。ipipgo的代理带鉴权参数，记得把user和pass换成自己的账号。

备胎机制很重要

再好的代理也可能抽风，得准备双重保险：

实战代码示例：

from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

retry_strategy = Retry(
    total=3,
    status_forcelist=[429, 500, 502, 503, 504],
    allowed_methods=["GET", "POST"]
)

adapter = HTTPAdapter(max_retries=retry_strategy)
session.mount('http://', adapter)
session.mount('https://', adapter)

这套组合拳能自动重试失败请求，配合ipipgo的高可用代理集群，基本能告别手动处理异常的烦恼。

速度与稳的平衡术

有些兄弟为了追求速度把延迟调得很低，结果疯狂报错。建议根据业务场景调整参数：

• 商品比价：timeout设3-5秒
• 舆情监控：timeout可放宽到10秒
• 图片采集：最好配合异步请求

实测用ipipgo的长效静态代理，在5秒超时下成功率能到98%以上，比那些廉价代理靠谱得多。

新手避坑指南

QA时间：

Q：代理速度忽快忽慢咋整？
A：检查是不是用了共享代理池，换ipipgo的独享线路立马见效

Q：总是连接超时怎么办？
A：先用这个命令测试代理是否通畅：

curl -x http://gateway.ipipgo.com:8001 http://httpbin.org/ip

Q：需要处理大量请求时怎么优化？
A：上线程池+代理池双保险，记得设置速率限制，别把人家服务器搞挂了

神秘大杀器

最后透露个黑科技——用代理地域切换破解区域限制。比如某些网站对北上广深访问更宽松，用ipipgo的城市级定向代理，轻松实现”本地化”访问。

 指定上海机房出口
custom_proxy = "http://user:pass@sh.node.ipipgo.com:8800"

这个技巧在做区域数据对比时特别好使，谁用谁知道。

说到底，代理IP玩得6不6，关键看服务商靠不靠谱。用了小半年ipipgo，他们家的IP存活率检测和自动更换机制确实省心，比之前用过的那些野鸡平台强太多了。特别是做长期爬虫项目的，真没必要省那点代理钱，封个IP损失的数据可比代理费贵多了。