Requests set ip proxy details: Session and single request dual mode comparison

一、为什么你的爬虫总被识别？先搞懂代理IP怎么用

很多兄弟在用requests库时，死活搞不明白代理IP到底该挂在Session上还是单次请求。说白了这就像你打游戏选装备——用对了事半功倍，用错了直接被秒。举个栗子，有些网站专门盯着IP访问频率，你要是每个请求都换IP，反而会触发风控。这时候就得根据业务场景，选对代理模式。

二、Session模式：VIP专属通道

Session对象就像你的私人管家，所有请求都走同一条通道。用ipipgo的Static Residential Agents时特别合适，比如需要保持登录状态或者处理验证码的场景。看这段代码：

import requests
proxies = {
    'http': 'http://user:pass@gateway.ipipgo.com:24000',
    'https': 'http://user:pass@gateway.ipipgo.com:24000'
}

with requests.Session() as s:
    s.proxies = proxies
     所有请求自动走代理
    s.get('https://目标网站')

Note the use ofstatic IP，适合需要长期稳定连接的场景。ipipgo的静态住宅代理自带运营商级稳定性，比那些动不动就掉线的野鸡代理强多了。

三、单请求模式：灵活游击战

需要频繁切换IP的时候，比如做数据采集，就得用动态代理。这时候每次请求都单独设置代理：

import requests

def get_proxy():
     这里调用ipipgo的动态代理API获取新IP
    return {'http': 'http://动态IP地址:端口'}

response = requests.get(
    'https://目标网站',
    proxies=get_proxy()
)

这种模式适合用ipipgo的Dynamic Residential Agents，他们的IP池有9000万+资源，根本不怕IP被封。不过要注意设置合理的请求间隔，太频繁了神仙也救不了。

四、模式对比怎么选？看这张表就够

V. Practical guide to avoiding pitfalls

最近有个做电商的朋友，用单请求模式死活采集不到数据。后来发现是代理池质量太差，换了ipipgo的Dynamic Residential Enterprise Package才解决。这里分享几个血泪经验：

1. 认证问题：ipipgo的代理需要账号密码认证，千万别写成proxies={‘http’:’ip:port’}这种格式
2. protocol matching
3. timeout setting：建议搭配timeout参数使用，别让烂代理卡死你的程序