Tutorial de procesamiento JSON en Python: Guía de procesamiento JSON proxy en Python

Prácticas con datos JSON en Python

Nueve de cada diez de nuestros hermanos que hacen el rastreo de datos se han ocupado de IP proxy. Recientemente, he encontrado que muchos de hierro viejo en la API del proveedor de servicios de proxy de acoplamiento, a menudo por los datos en formato JSON todo confundido. Hoy vamos a hablar en un lenguaje sencillo, cómo utilizar Python para proxy IP JSON datos para jugar flores.

Caso práctico: analizar la respuesta de la API ipipgo

Digamos que obtenemos estos datos de retorno de la API ipipgo:

{
  "estado": 200
  "data": [
    {"ip": "45.88.66.12", "puerto": 8866, "expire_time": "2024-03-10 12:00:00"},
    {"ip": "103.88.44.91", "puerto": 3128, "expire_time": "2024-03-10 12:30:00"}
  ]
}

La postura correcta para desmontar este montón de datos con Python:

importar json

response = '{"status":200,...}'   Aquí pretendemos obtener los datos en bruto de la API
proxy_data = json.loads(response)

if proxy_data['status'] == 200.
    for item in proxy_data['datos'].
        print(f "Proxies disponibles: {elemento['ip']}:{elemento['puerto']}")
        print(f "expire_time: {item['expire_time']}")

Consejos de automatización de la configuración de IP proxy

Los antiguos conductores del rastreador saben que cambiar manualmente la configuración del proxy puede agotar a una persona. Podemos hacer un cambiador inteligente:

importar peticiones
from random import elección

def get_proxies():
     Aquí llamamos a la API de ipipgo para obtener una lista de proxies.
    proxies_list = [{'ip':'x.x.x.x','port':xxx},...]
    return choice(lista_de_proxies)

target_url = "https://example.com"
proxy_actual = get_proxies()

resp = requests.get(
    target_url, current_proxies = {proxies}
    proxies={
        "http": f "http://{current_proxy['ip']}:{current_proxy['port']}",
        "https": f "http://{current_proxy['ip']}:{current_proxy['port']}"
    }
)

Guía para evitar el pozo: tres lugares habituales de vuelco

Escenario 1: Error de análisis JSON
A menudo se encuentran en los datos devueltos por la API tiene un lío de caracteres especiales, esta vez para agregar una captura de error será estable:

probar.
    datos = json.loads(datos_brutos)
except json.JSONDecodeError as e:: print(f "¡El análisis de los datos ha fallado!
    print(f "¡El análisis de los datos ha fallado! Mensaje de error: {e}")

Escenario 2: Fallo repentino del agente
Se recomienda comprobar la validez del proxy antes de cada solicitud, de la siguiente manera:

from datetime import datetime

expire_time = datetime.strptime(item['expire_time'], "%Y-%m-%d %H:%M:%S")
if datetime.now() > expire_time.
    print("¡Este proxy es genial, pasa al siguiente!")

Tiempo de control de calidad: preguntas de alta frecuencia

P: Al utilizar el paquete residencial dinámico, ¿cómo puedo asegurarme de que no se interrumpan las solicitudes?
R: Se recomienda configurar un mecanismo de reemplazo automático en el código para cambiar a una nueva IP inmediatamente cuando se reciba un código de estado 403. El Paquete Residencial Dinámico de ipipgo puede cambiar la IP 5 veces por segundo, lo cual es completamente suficiente.

P: ¿Y si necesito una IP fija a largo plazo?
R: directamente en el paquete residencial estática, 35 yuanes al mes que. Adecuado para escenas que requieren estabilidad IP, tales como tareas de colgar a largo plazo.

guía de selección de paquetes ipipgo

Elegir en función de nuestras necesidades reales:

• Presupuesto ajustado: elijaNorma Residencial Dinámica(7,67 $/GB)
• Requisitos a nivel de empresa: conDynamic Residential Enterprise Edition(9,47 $/GB)
• Rigidez IP fija: directaPaquete residencial estático(35 $/unidad)

Por último, cuando se trata de proxy IP JSON datos, recuerde que debe hacer un buen trabajo de manejo de excepciones. Después de todo, la solicitud de red esta cosa, como abrir una caja ciega, puede encontrarse con lo que la polilla. Con los hermanos ipipgo si se encuentra con problemas técnicos, su ladrón velocidad de respuesta de servicio al cliente, personalmente probar dos de la mañana para mencionar la orden de trabajo puede ser segundos espalda.