Python proxy IP acquisition and use: code examples and configuration tutorials

Hands-on teaching you to play with proxy IP with Python

搞数据采集的老铁应该都懂，现在很多网站都加了反爬机制。上周我帮朋友搞个电商价格监控，用自己家宽带连着爬了三天，结果直接被封了IP，宽带都上不去网了。这时候才想起来该用代理IP，今天就给大家整点干货。

What can a proxy IP really do?

In a nutshell.Change your vest and go online。比如你要批量注册账号测试功能，用同一个IP肯定被风控。这时候通过代理IP轮着换，每个操作都像不同人在用。再比如做跨境电商比价，需要模拟不同国家用户访问，代理IP就能搞定地域限制。

实战获取代理IP

这里拿ipipgo的动态住宅套餐举个栗子，他家API对接特别方便。先注册账号拿到授权密钥，注意要选HTTP协议的节点。这里有个坑要注意：有些平台返回的是「host:port」格式，ipipgo直接给完整代理链接。

import requests

def get_proxy():
    api_url = "https://api.ipipgo.com/getproxy?key=你的密钥"
    resp = requests.get(api_url).json()
    return f"http://{resp['ip']}:{resp['port']}"

 测试代理是否生效
proxy = get_proxy()
try:
    test_resp = requests.get('http://httpbin.org/ip', proxies={'http': proxy})
    print(f"当前IP已切换为：{test_resp.json()['origin']}")
except Exception as e:
    print("代理连接失败，错误信息：", str(e))

配置中的常见坑点

1. 超时设置：建议总超时30秒，连接超时10秒
2. 代理认证：部分代理需要账号密码，格式是http://user:pass@ip:port
3. 协议匹配：爬https网站却配置了http代理，这种低级错误我见过新手常犯

长效使用技巧

推荐用代理池方案，把获取的IP存到Redis里，每次随机取用。这里给个简易版实现：

from redis import Redis
import random

r = Redis(host='localhost', port=6379)

 定时补充代理
def refill_proxies():
    new_proxies = [get_proxy() for _ in range(10)]
    r.sadd('proxy_pool', new_proxies)

 使用代理
def get_random_proxy():
    return random.choice(r.smembers('proxy_pool'))

QA First Aid Kit

Q: What should I do if the agent suddenly fails to connect?
A：先检查账号余额，再测试本地网络。ipipgo的代理平均可用率在92%以上，如果频繁失效建议切换静态住宅IP

Q：需要同时处理大量请求怎么办？
A：用异步请求库配合代理池，aiohttp+asyncio组合实测可以跑到每秒500+请求。记得设置并发数别太高，建议控制在50线程以内

Why ipipgo?

用了七八家代理服务商，最后长期留在ipipgo的原因就三个字：Stable, fast and economical。他家TK专线做TikTok数据采集特别给力，不像某些平台总跳验证码。价格方面也透明，新手建议先买动态住宅标准版，7块多1G流量够测试用了。

套餐类型对比看这里：

Dynamic residential (standard): for individual developers, $7.67/GB
Dynamic Residential (Business)：带API优先权限，9.47元/GB
Static homes：固定IP场景专用，35元/个

最后唠叨一句，用代理IP不是万能药，还是要配合请求频率控制、请求头随机化这些手段。有次我忘记设延迟，即使用着代理还是被目标网站识别出来了，大家可别犯这种低级错误啊。