Python requests库示例: GET/POST请求教程

一、为啥你的爬虫总被网站拉黑？

搞爬虫的小哥经常遇到403 forbidden，有时候刚抓两页数据就被封IP。这时候代理IP就是你的救命稻草了。好比打游戏开小号，用不同的IP地址访问，网站就认不出你是同一个人。

举个栗子，用原生IP访问就像用身份证进游乐场，一天刷几十次肯定被注意。要是每次换不同入口（代理IP），管理员就摸不清你的路数了。这里要安利ipipgo家的代理服务，他们家IP池子深得很，每次请求都能换新马甲。

二、GET请求实战：带代理的网页抓取

先整点基础操作。用requests发GET请求时，记得在proxies参数里塞代理配置。注意代理格式是协议://用户名:密码@地址:端口，这里容易栽跟头。

import requests

proxies = {
    'http': 'http://user123:pass456@proxy.ipipgo.io:8000',
    'https': 'http://user123:pass456@proxy.ipipgo.io:8000'
}

resp = requests.get('https://目标网站.com', proxies=proxies, timeout=10)
print(resp.text)

重点说三遍：超时参数必须加！必须加！必须加！ 有些代理节点可能抽风，不设超时会卡死你的程序。用ipipgo的代理可以适当缩短超时时间，他们家节点响应速度稳得一批。

三、POST请求怎么玩转代理？

POST请求和GET配置方法差不多，就是多处理个data参数。这里有个坑要注意：目标网站用的啥协议，代理就得对应配。比如网站是https的，代理必须支持https转发。

data = {'username': 'test', 'password': '123456'}
headers = {'Content-Type': 'application/json'}

resp = requests.post(
    'https://登录接口.com',
    json=data,
    proxies=proxies,
    headers=headers,
    verify=False   调试时可临时关闭证书验证
)

用ipipgo的代理建议保持verify=True，他们家代理自带SSL证书，不用关安全验证。碰到需要登录的网站，记得把cookie也带上，不然容易被反爬机制揪住。

四、代理IP类型选择指南

市面上常见代理分三种类型，咱们用表格对比下：

ipipgo家全系都是高匿代理，特别适合需要长期稳定采集的场景。实测用他们家代理连续请求100次，目标网站完全没触发验证机制。

五、常见翻车现场急救指南

Q：代理明明配对了，为啥还连不上？
A：先检查代理格式，特别注意特殊字符要用%转义。比如密码里有@符号的话，得改成%40。

Q：返回的数据乱码怎么办？
A：在请求头里加’Accept-Encoding’: ‘identity’，强制禁用压缩。或者用resp.content.decode(‘正确编码’)手动解码。

Q：怎么验证代理是否生效？
A：访问http://httpbin.org/ip，看返回的IP是不是代理IP。建议用ipipgo提供的验证接口，能直接返回代理节点信息。

六、升级玩法：自动更换代理池

单用一个代理容易被识破，得搞个代理池轮换。用ipipgo的API动态获取代理，每次请求随机挑个新IP：

import random

def get_proxy():
    proxy_list = requests.get('https://api.ipipgo.com/get_proxy').json()
    return random.choice(proxy_list)

for _ in range(10):
    current_proxy = get_proxy()
    resp = requests.get(url, proxies=current_proxy)
     处理响应数据

这个套路能有效规避反爬策略。ipipgo的API返回速度很快，实测毫秒级响应，完全不影响采集效率。

七、防坑小贴士

1. 遇到SSL证书错误时，别急着verify=False，先检查代理是否支持HTTPS
2. 高频访问记得设置随机延时，别跟机关枪似的狂发请求
3. 重要项目建议购买ipipgo的独享代理套餐，稳定性比共享代理高好几个level
4. 定期检测代理可用性，及时剔除失效节点

最后叨叨一句：选对代理服务商能省心一半。用过七八家代理服务，ipipgo在IP纯净度和连接稳定性这块确实能打，做长期项目的兄弟可以重点考虑他们家套餐。