Python读取JSON: API响应处理技巧

手把手教你用Python玩转代理IP的JSON数据

搞数据采集的老铁们注意了！今天咱们唠唠用Python处理代理IP接口返回的JSON数据那些事儿。别小看这个环节，处理不好分分钟让你的爬虫原地瘫痪。咱就拿ipipgo的API响应为例，手把手教你避开那些坑。

基础操作：JSON解析三板斧

收到API响应先别慌，先确认是不是正经JSON。用response.json()方法前，记得加个异常处理：

import requests

try:
    resp = requests.get('https://api.ipipgo.com/getproxy')
    data = resp.json()
except ValueError:
    print("完犊子！接口返回的不是正经JSON")

拿到数据后重点看这几个字段：
– proxy_list：IP地址列表
– expire_time：失效时间戳
– region：IP归属地

代理IP集成实战技巧

把ipipgo的代理IP塞进requests里，千万别直接照搬示例代码！得动态处理过期时间：

from datetime import datetime

def get_proxy():
     这里调用ipipgo的API
    proxies = {
        "http": f"http://{new_ip}:{port}",
        "https": f"http://{new_ip}:{port}" 
    }
    expire = datetime.fromtimestamp(data['expire_time'])
    print(f"这个IP撑到{expire}就得换")
    return proxies

异常处理防翻车指南

代理IP最容易出幺蛾子的地方在这儿：

建议用retrying库做智能重试：

from retrying import retry

@retry(stop_max_attempt_number=3)
def safe_request(url):
    return requests.get(url, proxies=get_proxy(), timeout=5)

实战QA急救包

Q：代理IP突然全挂了咋整？
A：八成是并发用超了，ipipgo的套餐里有个自动续池功能，在控制台开启就行

Q：怎么判断IP是不是真生效了？
A：发个请求到ipipgo的校验接口，返回的IP和端口对不上就赶紧换

Q：需要同时管理多个代理池怎么办？
A：试试ipipgo的多通道隔离功能，不同业务用不同IP池，避免相互影响

性能优化小心机

发现没？很多新手会犯这个错误——每次请求都调API取IP。正确姿势是本地缓存+提前刷新：

import threading

class ProxyPool:
    def __init__(self):
        self.lock = threading.Lock()
        self.refresh()   启动时先加载一批
    
    def refresh(self):
        with self.lock:
             调用ipipgo接口补充新IP
            self.pool = deque(data['proxy_list'])
    
    def get_ip(self):
        if len(self.pool) < 5:   存量不足时提前刷新
            self.refresh()
        return self.pool.pop()

最后给个小贴士：ipipgo的按量付费套餐特别适合做压力测试，用多少算多少，别傻乎乎直接买包月。下次遇到JSON解析的问题，记得先检查响应头是不是application/json，保不准是接口抽风返回了HTML错误页面呢？