Python JSON Library: Módulo de Procesamiento de Datos Explicado

Python juega con los datos IP del proxy, ¡la librería json es el maestro oculto!

Participó en la recopilación de datos de las personas de hierro viejo saben que la combinación de proxy IP y JSON es simplemente un socio de oro. No todo falso hoy, directamente en la operación de núcleo duro. En primer lugar, ¿por qué tenemos que utilizar la biblioteca json para hacer frente a los datos de IP proxy? Por ejemplo, la plataforma ipipgo para volver a la lista de agentes son de formato JSON estándar, no utilice esta cosa para analizar tiene la intención de rasgar los datos a mano?

importar json

 Supongamos que estos son los datos proxy devueltos por ipipgo
datos_proxy = '''
{
    "código": 200
    "datos": [
        {"ip": "123.123.123.1", "puerto": 8000},
        {"ip": "123.123.123.2", "puerto": 8001}
    ]
}
'''

 Convertir en diccionario
datos_analizados = json.loads(datos_proxy)
print(parsed_data['data'][0]['ip']) output 123.123.123.1

vigilar cuidadosamentejson.loads()Esta operación clave, puede convertir la cadena en un objeto diccionario. Muchos novatos plantados en la conversión de tipo de datos, recuerde que los datos originales es una cadena cuando se debe utilizar cargas, si se trata de una carga de uso de archivos.

Consejos prácticos sobre IP proxy: no descuide la gestión de excepciones

Probado encontró que el proxy IP de procesamiento de datos es el más propenso a las polillas es las fluctuaciones de la red. Por ejemplo, de ipipgo obtener datos de repente desconectado, sin manejo de excepciones minutos caída del programa. Mira esta versión mejorada del código:

importar json
importar peticiones

def get_ipipgo_proxies():
    try: resp = requests.get('')
        resp = requests.get('https://api.ipipgo.com/proxy-list')
        return json.loads(resp.text)['datos']
    except json.JSONDecodeError: print("Parsing JSONDecodeError").
        JSONDecodeError: print("Fallo al analizar datos JSON, comprueba el formato de retorno de la interfaz")
    except requests.exceptions.RequestException: print("Fallo al analizar los datos JSON, compruebe el formato de retorno de la interfaz")
        RequestException: print("Excepción de conexión de red. Sugerimos comprobar la configuración del proxy.")
    return []

Aquí se añade el focoDoble captura de anomalíasSi tienes un problema de red, debes tratarlo por separado del problema de formato de datos. Especialmente cuando usas el servicio de ipipgo, su formato de respuesta API es más estable, si hay un fallo de parseo, lo más probable es que sea un problema de red local.

Rotación de IP proxy Esencial: almacenamiento persistente de datos

Cuando se recopilan datos a menudo es necesario guardar el pool de IPs del proxy, esta vez json.dump() viene muy bien. Con la API de actualización programada de ipipgo, puede lograr un mantenimiento automatizado del proxy:

importar json
from datetime import datetime

def save_proxy_pool(proxies)::
    timestamp = datetime.now().strftime("%Y%m%d%H%M")
    with open(f'ipipgo_proxies_{timestamp}.json', 'w') as f:
        json.dump({"update_time": timestamp, "proxies": proxies}, f, indent=2)

Los proxies de ipipgo suelen tener una validez de 6 a 24 horas, por lo que se recomienda realizar una actualización cada hora.

Preguntas frecuentes QA

P: ¿Por qué falla siempre la conexión con el proxy de ipipgo?
R: En primer lugar, compruebe si el formato del proxy es correcto, le sugerimos que utilice su API para obtener el último proxy directamente. Si sigue sin funcionar, es posible que la red local esté restringiendo el puerto proxy.

P: ¿Cómo mejorar la eficacia de la recogida de IP proxy?
R: Intente usar multi-threading + el paquete de alta concurrencia de ipipgo, su pool de proxy exclusivo soporta 500+ conexiones al mismo tiempo, recuerde establecer un tiempo de espera razonable (3-5 segundos recomendado).

Por último decir un conocimiento frío: con json.dumps () del parámetro ensure_ascii para tratar con información proxy chino, recuerde establecer a False, de lo contrario verá un montón de código unicode. Pisé este pozo entonces, y ahora te digo que ahorra tres días de tiempo de depuración.