json.py: Script Python para analizar estructuras JSON complejas

Manos a la obra con Python para desensamblar paquetes JSON para IPs proxy

Recientemente, muchos amigos que se dedican a la recolección de datos se han acercado a mí para quejarse, diciendo que el formato de la información IP devuelta por muchos sitios web es cada vez más complejo, especialmente cuando se utilizan servicios de IP proxy, encontrándose a menudo anidadas cinco o seis capas de estructura JSON. Hoy tomamos como ejemplo nuestro mensaje de respuesta de la API de ipipgo para enseñaros a utilizar Python para extraer rápidamente información clave.

¿Por qué JSON para IPs proxy necesita un tratamiento especial?

Hoy en día, los proveedores de proxy (como nosotros en ipipgo) proporcionan paquetes IP ricos en información:localización geográficayoperador (de una central eléctrica, una red de transporte, etc.)yCaducidadA pesar de estos campos de base, puede haberIndicadores de velocidad de conexiónySoporte de protocolosDatos anidados. Para dar un caso real: la semana pasada hubo una comparación de precios de comercio electrónico de los clientes, porque no se ocuparon de los datos de clasificación de la ciudad en el JSON, lo que resulta en agentes de conmutación siempre saltó a la región equivocada.

Práctica: análisis de la respuesta de la API de ipipgo

Supongamos que recibimos datos de respuesta de ipipgo con esta estructura:

{
  "código": 200
  "data": [
    {
      "ip": "1.1.1.1",
      "auth": {
        "username": "ipipgo_demo",
        "token": "abcd1234"
      },
      "meta": {
        "location": {
          "city_code": 755, "isp": "telecoms
          "isp": "telecoms"
        }
      }
    }
  ]
}

Concéntrese en tres áreas:

1. Compruebe primero el código de estado de la respuestaNo te apresures a conseguir la IP, mira primero si el código es 200.
2. Anidamiento multinivel de valores: Evita errores KeyError con el método .get().
3. Tratamiento de excepciones: las fluctuaciones de la red pueden hacer que JSON esté incompleto

Guía para evitar el pozo: Preguntas frecuentes QA

P: ¿Qué debo hacer si me encuentro con JSONDecodeError?
R: el ochenta por ciento de los problemas de red causados por los datos no terminaron, se recomienda utilizar ipipgo'sMecanismo de repetición de pruebasConfiguración de 3 reintentos automáticos

P: ¿Cómo puedo extraer rápidamente los códigos de ciudad anidados?
R: Prueba a encadenar valores: item.get('meta',{}).get('location',{}).get('city_code ')

P: ¿Por qué recomiendan utilizar el servicio proxy de ipipgo para JSON complejo?
R: El formato de respuesta de nuestra API está especialmente optimizado:
1. Armonización de la nomenclatura de los campos
2. Definición clara de los códigos de error
3. No más de tres niveles de anidamiento
4. Proporcionar documentación completa de las respuestas de la muestra

Plantillas de código: scripts de análisis listos para usar

importar json
from retry import retry

@retry(intentos=3, retraso=2)
def parse_proxy_response(respuesta).
    data = json.loads(response).
        datos = json.loads(respuesta)
        ¡if data['code'] ! ¡= 200: if data['code'] !
            print(f "Código de estado de excepción: {datos['código']}")
            return []

        return [{
            'ip': item['ip'], 'auth'.
            auth': f"{item['auth']['username']}:{item['auth']['token']}",
            'city': item.get('meta',{}).get('location',{}).get('city_code')
        } for item in datos['datos']]

    except json.
        JSONDecodeError: print("Datos de respuesta incompletos, inténtelo de nuevo...")
        raise
    except KeyError as e.
        print(f "Falta el campo obligatorio: {e}")
        return []

Esta plantilla ya gestionaTres problemas comunesReintento de red, validación de datos, captura de excepciones. Recomendado para ser emparejado con ipipgo'sAPI de enrutamiento inteligentese selecciona automáticamente el nodo más rápido.

Sugerencia de actualización: adaptación dinámica a diferentes estructuras

Algunos amigos pueden utilizar más de un proveedor de servicios de proxy al mismo tiempo (por supuesto, todavía se recomienda centrarse en el uso de ipipgo la), diferentes proveedores de la estructura JSON puede ser muy diferente. Aquí para enseñarle un truco de análisis sintáctico dinámico:

def smart_parser(item).
     Prueba primero con la estructura estándar de ipipgo
    si 'auth' en item y 'meta' en item.
        return {elemento, 'fuente':'ipipgo'}

     Adaptación a estructuras de otros proveedores
    for key in ['proxy_ip','ipAddress']: if key in item: return {item, 'source':'ipipgo'}
        si key en item: return {'ip':item'].
            return {'ip':item[key], 'source':'other'}

    return Ninguno

Este método da prioridad al parseo del formato estándar de ipipgo, y otras estructuras pueden ser manejadas bajo el capó. Sin embargo, para un uso estable a largo plazo, se recomienda utilizar directamente nuestro métodonorma estructuraldel servicio API.