Parser JSON de Python: Manejo de datos de diccionario

Cuando la IP proxy se encuentra con el diccionario Python, ¿cómo se juega exactamente sin flipar?

Cuando usas Python para capturar datos de IP proxy, seguro que te has encontrado con esto del JSON. Es como abrir un paquete, sabes que hay cosas buenas dentro, pero si no sabes cómo abrirlo, es fácil romper cosas. Hoy hablaremos de la forma más aterrizada de usar el diccionario Python para tratar con datos de IP proxy.

importar json

 Asumiendo que estos son los datos en bruto de la interfaz ipipgo
proxy_data = '''
{
    "code": 0
    "data": [
        {"ip": "112.95.235.86", "puerto":8080, "protocolo": "http"}, {"ip": "120.79.139", "puerto":8080, "protocolo": "http"}, [
        {"ip": "120.79.169.139", "puerto":8888, "protocolo": "https"}
    ]
}
'''

 Paso 1: Descomprimir el paquete
data_dict = json.loads(proxy_data)

Guía de anatomía de datos IP proxy

No te apresures a usar los datos JSON, primero averigua su estructura. Los datos devueltos por ipipgo suelen tener este aspecto: la capa exterior es el código de estado y los datos reales, y la capa interior contiene elLista IP real. Es hora de pelar las capas como una cebolla:

Práctico: proxy IP en un formato utilizable

Muchos novatos tienden a caer en elconversión de datosEste paso. Por ejemplo, para convertir la IP proxy devuelta por ipipgo en un formato que la biblioteca de peticiones pueda utilizar, tienes que hacer esto:

lista_proxies = []
for item in datos_dict['datos']:
    proxies_list.append({
        item['protocolo']: f"{item['ip']}:{item['puerto']}"
    })

print(lista_de_proxies)
 Resultados de salida:
 [{'http': '112.95.235.86:8080'}, {'https': '120.79.169.139:8888'}]

Guía para evitar errores: no sea perezoso en el tratamiento de excepciones

El manejo de datos de IP proxy es lo más temidoAnomalías en el formato de los datos. Por ejemplo, la interfaz de ipipgo devuelve ocasionalmente información de mantenimiento, que hay que defender:

probar.
    ¡if data_dict['code'] ! ¡= 0: if data_dict['code'] !
        raise ValueError("La interfaz devuelve una excepción").
     La lógica que sigue...
except KeyError as e.
    print(f "El campo no existe: {str(e)}")
except json.JSONDecodeError: print("El campo no existe: {str(e)}")
    JSONDecodeError: print("Error de formato de datos")

QA Time: Preguntas y respuestas frecuentes

P: ¿Por qué mi IP proxy siempre agota el tiempo de espera de la conexión?
¡R: Primero compruebe la validez de la IP, se recomienda utilizar la interfaz de verificación en tiempo real de ipipgo, su tasa de supervivencia IP de 95% o más!

P: ¿Cómo gestionar la información de autenticación de la IP proxy?
R: Añada el campo auth al diccionario, por ejemplo:

{'http': 'user:pass@112.95.235.86:8080'}

P: ¿Cuáles son los consejos para procesar por lotes miles de IP?
R: usa generador en lugar de lista, como la interfaz de ipipgo soporta paginación para obtener, ¡recuerda añadir retardo para evitar ser bloqueado!

El último consejo: elige las herramientas adecuadas para ahorrar a lo grande

Cualquiera que haya tirado alguna vez de una IP proxy sabe que es demasiado trabajo mantener tu propio pool de IPs. ComoipipgoEste tipo de proveedores de servicios profesionales, no sólo proporcionan interfaz API ya hecho, el formato de datos de retorno también está estandarizado. Su documentación técnica directamente en el código de ejemplo de Python, problemas encontrados también pueden encontrar soporte técnico, que su propio toss ciego mucho más fuerte.

Por último, me gustaría recordarle que el manejo de datos JSON es como sofreír, hay que dominar el fuego (manejo de excepciones) y el condimento (conversión de datos). La próxima vez que te encuentras con un proxy IP problemas de procesamiento de datos, es posible que desee beber un bocado de agua para calmarse, paso a paso en contra de esta guía, usted está garantizado para tomar un desvío.