Python解析JSON响应: 字典数据处理技巧

Python玩转代理IP数据：手把手拆解JSON套路

搞网络爬虫的老铁们都知道，处理代理IP返回的JSON数据就像拆盲盒——永远不知道服务端会塞给你什么奇葩格式。今天咱们就拿ipipgo的API响应当案例，教大家几个实战中贼好使的字典处理野路子。

import requests
from json import JSONDecodeError

def grab_proxies():
    try:
        resp = requests.get('https://api.ipipgo.com/proxy', timeout=5)
        data = resp.json().get('data', {})
        return data['ips'] if 'ips' in data else []
    except JSONDecodeError:
        print("服务器返回了假数据！")
        return []

看到没？这个基础操作里藏着两个关键点：异常捕获和默认值设置。很多新手直接无脑取data[‘ips’]，结果遇到服务端抽风返回空数据时，程序当场去世。

字典嵌套的千层套路

ipipgo的代理IP数据经常带多层嵌套，比如这样：

{
  "node": {
    "east-china": [
      {"ip": "1.1.1.1", "expire": "2024-08-01"},
      {"ip": "2.2.2.2", "expire": "2024-08-02"}
    ]
  }
}

这时候别急着用for循环硬怼，试试这个骚操作：

def extract_ips(raw_data):
    return [
        item['ip']
        for region in raw_data.get('node', {}).values()
        for item in region
        if isinstance(region, list)
    ]

用字典推导式+类型判断双保险，管它数据怎么变都能稳如老狗。特别是ipipgo有时候会往节点里塞调试信息，不加isinstance过滤分分钟报错。

动态代理池维护秘籍

拿到IP列表后别直接开用，先做个存活检测。很多兄弟反馈说代理IP用着用着就失效，其实是因为没做好预处理：

def check_alive(ip_list):
    working_ips = []
    for ip in ip_list:
        try:
            test_resp = requests.get('http://httpbin.org/ip', 
                                   proxies={'http': f'http://{ip}'},
                                   timeout=3)
            if ip in test_resp.text:
                working_ips.append(ip)
        except:
            continue
    return working_ips

这里有个小技巧：用httpbin.org/ip接口验证，返回内容里包含当前使用的IP，比单纯看响应状态码靠谱多了。特别是用ipipgo的短效代理时，这个检测步骤绝对不能省。

QA时间：常见坑点排雷

Q：总遇到JSON解析错误咋整？
A：八成是响应内容被污染了。先用resp.text打印原始数据，看看是不是夹杂了HTML错误页面。这种情况建议联系ipipgo的技术支持，他们的API稳定性在行业里算拔尖的。

Q：拿到的IP总是连接超时？
A：检查三点：1.是否走了代理验证 2.目标网站有没有封禁代理 3.本地网络有没有限制。推荐用ipipgo的按量计费套餐，他们的IP池更新频率高，存活率比包月套餐高30%不止。

Q：怎么处理代理的并发请求？
A：别直接用多线程硬怼！建议用连接池+IP轮询策略。ipipgo的企业版套餐支持高并发API调用，配合aiohttp库做异步处理，每秒处理上百请求不是事儿。

实战技巧：IP智能调度

最后分享个高阶玩法——根据业务场景动态切换代理：

from random import choice

class ProxyManager:
    def __init__(self):
        self.ips = []
        self.last_update = 0
        
    def refresh(self):
        if time.time() - self.last_update > 300:   5分钟更新一次
            self.ips = grab_proxies()
            self.last_update = time.time()
            
    def get_ip(self):
        self.refresh()
        return choice(self.ips) if self.ips else None

这个调度器实现了自动更新+随机选取的双重保障。特别是配合ipipgo的动态隧道代理，能有效避免IP被目标网站封禁。他们的智能路由技术，能根据业务类型自动分配最优线路，比手动切换省心多了。

说到底，处理代理IP数据就是个细心活。用好这些技巧，再配合像ipipgo这样靠谱的服务商，保证让你的爬虫效率直接起飞。有啥不明白的欢迎留言，咱们一起切磋！