urllib set proxy ip: Python crawler essential proxy configuration method

Teach you how to hang a proxy with urllib.

搞爬虫的兄弟都懂，网站反爬机制现在越来越精了。昨天还跑得好好的脚本，今天突然就403 Forbidden，这时候就该代理IP上场救急了。用urllib自带的代理配置其实特简单，但网上教程总爱把简单事情复杂化，今儿咱就唠点实在的。

import urllib.request

proxy_ip = "123.123.123.123:8888"   这里填ipipgo提供的代理地址
proxy = urllib.request.ProxyHandler({'http': proxy_ip,'https': proxy_ip})
opener = urllib.request.build_opener(proxy)
urllib.request.install_opener(opener)

 测试请求
response = urllib.request.urlopen('http://httpbin.org/ip')
print(response.read().decode())

代理配置三大坑千万别踩

1. 协议对不上号：http和https代理要分开声明，但用ipipgo的socks5代理可以直接通杀，省事
2. IP Survival Time：动态住宅代理每5分钟自动换IP，要是长时间任务记得在代码里加个定时刷新
3. 验证信息漏填：部分高匿代理需要账号密码，格式得写成username:password@ip:port

ipipgo代理实测对比

White Frequently Asked Questions First Aid Kit

Q：代码跑通了但获取不到数据？
A：九成是代理IP失效了，去ipipgo后台查剩余流量，建议开个新IP测试

Q: Agents are slow as snails?
A：换个离目标服务器近的地理位置，比如采集日本网站就选东京机房，ipipgo后台能自选地区

Q: What if I need to switch IP frequently?
A：在代码里加个代理池轮询，用ipipgo的API接口实时获取新IP，记得设置5秒间隔防封

Why recommend ipipgo

实测过七八家代理服务，最后还是锁定了ipipgo。他家有个TK line agent特别适合采集电商数据，不像普通代理动不动就跳验证码。最近新出的Cloud Server + Proxy打包方案也香，直接把爬虫脚本部署在他们的服务器上，能降到50ms以内。

套餐价格明码标价（动态住宅7块多1G流量够用半个月），不像有些平台玩文字游戏。上次有个采集任务要定制美国三个州的住宅IP，客服当天就给了解决方案，这种响应速度确实靠谱。