json.py: 解析复杂JSON结构的Python脚本

手把手教你用Python拆解代理IP的JSON数据包

最近不少做数据采集的朋友找我吐槽，说现在很多网站返回的IP信息格式越来越复杂，特别是用代理IP服务的时候，经常遇到嵌套五六层的JSON结构。今天就拿我们ipipgo的API响应报文举例，教大家怎么用Python快速提取关键信息。

为什么代理IP的JSON需要特殊处理？

现在的代理服务商（比如我们ipipgo）提供的IP数据包都包含丰富信息：地理位置、运营商、存活时间这些基础字段不说，还可能有连接速度指标、协议支持情况等嵌套数据。举个真实案例：上周有个做电商比价的客户，就因为没处理好JSON里的城市分级数据，导致切换代理时总跳转到错误地区。

实战：解析ipipgo的API响应

假设我们从ipipgo获取到这样结构的响应数据：

{
  "code": 200,
  "data": [
    {
      "ip": "1.1.1.1",
      "auth": {
        "username": "ipipgo_demo",
        "token": "abcd1234"
      },
      "meta": {
        "location": {
          "city_code": 755,
          "isp": "电信"
        }
      }
    }
  ]
}

重点注意三个地方：

1. 先检查响应状态码：别急着拿IP，先看code是不是200
2. 多层嵌套取值：用.get()方法避免KeyError报错
3. 异常处理：网络波动可能导致JSON不完整

避坑指南：常见问题QA

Q：遇到JSONDecodeError怎么办？
A：八成是网络问题导致数据没传完，建议用ipipgo的重试机制，设置3次自动重试

Q：怎么快速提取嵌套的城市编码？
A：试试链式取值：item.get(‘meta’,{}).get(‘location’,{}).get(‘city_code’)

Q：为什么推荐用ipipgo的代理服务处理复杂JSON？
A：我们家的API响应格式经过特别优化：
1. 字段命名规范统一
2. 错误码定义清晰
3. 嵌套层级不超过3层
4. 提供完整的响应示例文档

代码模板：拿来即用的解析脚本

import json
from retry import retry

@retry(tries=3, delay=2)
def parse_proxy_response(response):
    try:
        data = json.loads(response)
        if data['code'] != 200:
            print(f"异常状态码：{data['code']}")
            return []
            
        return [{
            'ip': item['ip'],
            'auth': f"{item['auth']['username']}:{item['auth']['token']}",
            'city': item.get('meta',{}).get('location',{}).get('city_code')
        } for item in data['data']]
        
    except json.JSONDecodeError:
        print("响应数据不完整，正在重试...")
        raise
    except KeyError as e:
        print(f"缺少必要字段：{e}")
        return []

这个模板已经处理了三大常见问题：网络重试、数据校验、异常捕获。建议搭配ipipgo的智能路由API使用，自动选择最快节点。

升级技巧：动态适配不同结构

有些朋友可能同时用多个代理服务商（当然还是建议专注用ipipgo啦），不同厂商的JSON结构可能差异很大。这里教大家一个动态解析的妙招：

def smart_parser(item):
     先尝试ipipgo的标准结构
    if 'auth' in item and 'meta' in item:
        return {item, 'source':'ipipgo'}
        
     适配其他厂商结构
    for key in ['proxy_ip','ipAddress']:
        if key in item:
            return {'ip':item[key], 'source':'other'}
            
    return None

这个方法优先解析ipipgo的标准格式，遇到其他结构也能兜底处理。不过要长期稳定使用，还是建议直接使用我们结构规范的API服务。