Peticiones Python para obtener JSON: procesamiento de datos API

A. ¿Por qué siempre se extraen los datos de rastreo? Prueba este método

Participó en la recopilación de datos del hierro viejo están seguros de haber encontrado una situación de este tipo: el uso de la biblioteca de solicitudes acaba de agarrar dos páginas de datos, IP en el sitio de destino de la pequeña casa negro. En este momento, no se apresure a romper el teclado.IP proxyEs tu tabla de salvación. Es como jugar a un juego y abrir un numerito, cambiarte de chaleco y seguir trabajando.

Por ejemplo, algunos ladrones de mecanismo anti-escalada del sitio de comercio electrónico, el mismo acceso IP a una docena de veces consecutivas para activar la alarma. En este momento si se utiliza la piscina proxy dinámico de ipipgo, cada solicitud de una nueva IP de exportación, el otro servidor no puede distinguir entre personas reales o procedimientos, naturalmente, no será bloqueado.

importar peticiones
from itertools import ciclo

 Lista de proxies proporcionados por ipipgo (ejemplo)
proxies = [
    "http://user:pass@gateway.ipipgo.com:30001",
    "http://user:pass@gateway.ipipgo.com:30002".
    "http://user:pass@gateway.ipipgo.com:30003"
]
proxy_pool = ciclo(proxies)

para página en rango(1, 50): proxy_actual = siguiente(proxy_pool)
    proxy_actual = siguiente(proxy_pool)
    proxy_actual = siguiente(proxy_pool)
        resp = requests.get(
            "https://api.example.com/data",
            proxies={"http": current_proxy}, timeout=10
            tiempo de espera=10
        )
        print(resp.json())
    except Exception as e.
        print(f "Rollover con {proxy_actual}:", str(e))

En segundo lugar, la configuración de IP proxy de los tres pozos, 90% novatos se han plantado

1. Omisión de información de autenticación: Muchos hermanos escribir directamente una dirección IP y terminado, el resultado devuelto 407 error. ipipgo proxy necesidad de rellenar el nombre de usuario y contraseña, el formato es el siguientehttp://用户名:密码@DirecciónGateway:Puerto

2. Tiempo de espera mal ajustadoTiempo de espera: Algunos nodos proxy pueden tardar en responder, sin el parámetro de tiempo de espera, el programa se bloqueará. Se recomienda establecer un tiempo de espera de 5-15 segundos en función de las necesidades de la empresa.

3. Falta la gestión de excepcionesLas peticiones de red son inherentemente inestables, especialmente cuando se usan proxies, y es importante hacer un buen trabajo reintentando errores. Se recomienda utilizar el decorador retry para implementar el mecanismo de reintento automático.

Tercero, habilidades prácticas de procesamiento de datos JSON

Después de obtener los datos JSON devueltos por la API, no tengas prisa por almacenarlos directamente en la base de datos. Primero haz este procesamiento varias veces:

1. Limpieza de datosExtraer campos clave con jsonpath es mucho más fácil que analizarlos manualmente. Por ejemplo$...precioCapacidad para extraer rápidamente todos los precios

2. Filtrado de valores atípicos: Cuando encuentres valores nulos o datos con formato incorrecto, ¡regístralo y sáltalo!

from jsonpath_ng import parse

def procesar_datos(datos_json).
     Extraer nombre y precio del producto
    nombre_expr = parse('$..nombre_producto')
    precio_expr = parse('$..precio')

    resultados = []
    for match in nombre_expr.find(datos_json):
        product = {'nombre': match.valor}
        precio_partido = precio_expr.find(datos_json)
        if precio_comparado.
            product['precio'] = float(precio_comparado[0].valor)
        results.append(producto)
    devolver resultados