Python JSON: Consejos para el procesamiento de estructuras de datos

Cuando la IP proxy se encuentra con datos JSON, ¡Python juega bien!

dedicada a la recopilación de datos del viejo hierro saber, proxy IP servicio de retorno de datos con toda probabilidad son el formato JSON. Hoy en día, no jugamos falso, directamente en los productos secos para decir cómo utilizar Python para dar sentido a este asunto. Tome la respuesta de la API de ipipgo, regresan a la estructura de información de IP proxy normas ladrón, el procesamiento es particularmente suave.

En primer lugar, la demolición del análisis exprés de la información de IP por poder

Obtener los datos de respuesta del proveedor de servicios proxy IP es como recibir un paquete. Echemos un vistazo a la estructura de devolución típica de ipipgo:

{
  "status": "success", "data": [
  "datos": [
    {
      "ip": "123.123.123.123",
      "puerto": 8000, "expire_time": {"expire_time": 00:00
      "expire_time": "2024-03-01 12:00:00"
    },
    {
      "ip": "124.124.124.124",
      "port": 8001
      "expire_time": "2024-03-01 12:30:00"
    }
  ]
}

Para enfrentarse a esta estructura, recuerde los tres pasos:Confirmación del estado → extracción de datos → procesamiento cíclico. Mira este código:

importar json

respuesta = requests.get('https://api.ipipgo.com/get_proxies')
result = json.loads(response.text)


    if result['status'] == 'success': for proxy in result['data'].
        print(f "Proxies disponibles: {proxy['ip']}:{proxy['puerto']}")
        print(f "Tiempo de expiración: {proxy['expire_time']}")
si no.
    print("No ha habido mucha suerte hoy, inténtalo de nuevo en otra posición")

En segundo lugar, la configuración dinámica de los parámetros de solicitud de la black

A veces es necesario generar dinámicamente parámetros de petición en función de diferentes escenarios de negocio. Por ejemplo, para probar por lotes la disponibilidad de IPs proxy, se puede jugar así:

lista_proxy = []

 Obtener 10 IPs proxy de ipipgo
params = {
    "count": 10
    "protocolo": "http",
    "region": "East China"
}

response = requests.get('https://api.ipipgo.com/generate', params=parámetros)
proxies = json.loads(response.text)['proxies']

for p in proxies.
    proxy_config = {
        "http": f "http://{p['ip']}:{p['puerto']}",
        "https": f "https://{p['ip']}:{p['puerto']}"
    }
    proxy_list.append(proxy_config)

Esto genera una lista de configuraciones de proxy que pueden ser lanzados directamente a las solicitudes de rotación, y probado para la estabilidad.

En tercer lugar, deben tratarse las anomalías, como la comprobación del contador de agua.

La forma más fácil de tratar con JSON es formatear los datos incorrectamente. Te enseñaré un truco:

probar.
    data = response.json()
except json.JSONDecodeError as e:: print(f "¡Error de análisis!
    print(f "¡Se ha producido un error de análisis! Ubicación: fila {e.lineno}, columna {e.colno}.")
    print("Sugerimos comprobar: 1. si la cabecera de respuesta contiene application/json 2. si hay datos incompletos")
     Aquí puede llamar a la interfaz de informes de excepciones de ipipgo
    requests.post('https://api.ipipgo.com/error_report', data=respuesta.text)

Manejarlo así no colapsa el programa y ayuda al proveedor de servicios a mejorar la calidad, lo mejor de ambos mundos.

QA Time: limpieza de minas de las preguntas más frecuentes

Q：¿Qué debo hacer si la IP proxy que conseguí de repente no funciona?
R: Primero mire el campo de tiempo de expiración, el proxy de ipipgo tiene por defecto 1 hora de refresco. Se recomienda configurar una tarea temporizada para obtener una nueva IP con 15 minutos de anticipación.

P: ¿Qué debo hacer si hay caracteres especiales extraños en el JSON devuelto?
R: El 80% es un problema de codificación, intente manejarlo así:
response.encoding = 'utf-8-sig'
datos = json.loads(respuesta.texto)

P: ¿Qué debo hacer si necesito procesar datos de varios proveedores de servicios proxy al mismo tiempo?
R: Se recomienda unificar el formato de los datos, por ejemplo, establecer una capa de conversión para los datos de respuesta de ipipgo:
def formato_proxy(datos).
devolver {
"host": datos['ip'],
"puerto": str(datos['puerto']),
"fuente": "ipipgo"
}

Por último, me gustaría dar una sugerencia real: si utilizas un servicio proxy durante mucho tiempo, deberías ir directamente al paquete de ipipgo para salvar tu corazón. No sólo su interfaz es sensible, sino que su soporte técnico es fiable, a diferencia de algunos proveedores de servicios que desaparecen. La clave es que su pool de IPs se actualiza con frecuencia, básicamente no te encontrarás con un gran número de casos inválidos.