Python爬虫代理：Python专属API接口代理IP

当爬虫撞上反爬，代理IP就是你的安全气囊

做爬虫的老铁们肯定都经历过这样的魔幻场景：昨天还跑得飞起的脚本，今天突然就瘫了。服务器返回的403错误码像机关枪似的突突你，这时候就该掏出代理IP这个神器了。咱就拿ipipgo家的动态代理池来说，他们的轮换机制能让你的请求像川剧变脸似的，每次访问都换张新面孔。

import requests

proxies = {
    'http': 'http://username:password@gateway.ipipgo.com:9020',
    'https': 'http://username:password@gateway.ipipgo.com:9020'
}

response = requests.get('https://target-site.com', proxies=proxies)

上面这个代码块里的username和password，得换成你在ipipgo后台领的鉴权凭证。注意看端口号9020，这是他们家专门给Python用户开的绿色通道，比通用端口稳定三成不止。

选代理IP就像买菜，新鲜度决定成败

市面上的代理服务商多如牛毛，但靠谱的没几个。我总结了个三看原则：

特别要说的是ipipgo的IP预热机制，他们的代理池会提前给热门网站做适配。比如你要爬某电商平台，系统会自动分配最近成功访问过该站的IP，这招能省去三成试错成本。

实战避坑指南：别让低级错误毁了你的脚本

见过太多人把代理IP用成筛子的案例，这里说两个高频踩雷点：

1. 超时设置太耿直

 错误示范：超时统一设3秒
requests.get(url, proxies=proxies, timeout=3)

 正确姿势：分阶段设置
from requests.adapters import HTTPAdapter

session = requests.Session()
session.mount('http://', HTTPAdapter(max_retries=3))
session.mount('https://', HTTPAdapter(max_retries=3))
response = session.get(url, proxies=proxies, timeout=(3, 7))

2. 请求头忘记伪装

就算用了代理IP，User-Agent还是明晃晃的python-requests，这不等于在脑门上贴”我是爬虫”吗？建议配合fake_useragent库使用：

from fake_useragent import UserAgent
headers = {'User-Agent': UserAgent().random}

你问我答环节

Q：代理IP用着用着就失效了咋整？
A：这种情况八成是IP池更新不及时，ipipgo的解决方案是双通道轮换。在代码里加个异常重试机制，自动切换备用接入点：

proxy_list = [
    'gateway.ipipgo.com:9020',
    'backup.ipipgo.com:9021'
]

Q：爬取频率怎么控制最安全？
A：别傻乎乎地用time.sleep(1)，建议用随机延时+流量控制双保险。ipipgo后台能设置流速阈值，超过设定值自动熔断，比在代码里写死灵活多了。

Q：遇到验证码怎么破？
A：先检查是不是代理IP暴露了，用ipipgo的高匿代理基本能规避九成验证码。剩下的硬骨头可以配合OCR识别库，比如ddddocr这个神器。

最后说点大实话

代理IP不是万能药，但选对服务商能让爬虫寿命延长五倍不止。用过七八家供应商，最后还是ipipgo最抗造。他们有个异常IP自动补偿的机制，遇到失效IP会自动补时长到账户，这种良心操作在业内真不多见。

最近发现他们上线了地域定向功能，比如专门获取某城市的住宅IP。上周做某点评网站的商家数据采集，用这个功能直接绕过地域限制，效率翻了两番。需要的老铁可以去官网瞅瞅，新用户送3G流量体验包，够跑个小项目了。