Python Procesando JSON: Proxy IP Procesando Datos de Respuesta API

Manos a la obra con IPs proxy metidas en scripts Python

jugar rastreador de hierro viejo debe haber encontrado la IP fue bloqueado lo malo, aquí para enseñarle a utilizar ipipgo casa proxy IP servicio directamente a la API. en primer lugar, todo el entender su interfaz para devolver el JSON largo qué tipo de datos que obtenemos suele ser largo como este:

{
  "código": 0
  "data": [
    {"ip": "112.95.82.33", "puerto": 8000, "expire_time": "2024-03-20 12:00:00"},
    {"ip": "183.6.102.156", "port": 8080, "expire_time": "2024-03-20 12:30:00"}
  ]
}

¿Lo veis?code=0Éxito, los datos se rellenan con IPs proxy de trabajo. tenemos que utilizar la biblioteca de peticiones para bajar los datos de la interfaz, recuerde reemplazar su_api_key con la clave dada por el backend ipipgo.

Cómo descomprimir datos JSON con el mínimo esfuerzo

No te apresures a utilizar los datos cuando los recibas, primero tienes que inspeccionarlos. Muchos novatos se plantan enNo se comprueba el código de estado.Este pozo. Mira este código:

importar peticiones
importar json

resp = requests.get('https://api.ipipgo.com/proxy?key=your_api_key')
if resp.status_code == 200: result = json.loads(resp.text)
    result = json.loads(resp.text)
    if resultado['código'] == 0.
        proxies = [f"{elemento['ip']}:{elemento['puerto']}" for elemento in resultado['datos']]
        print("Capturadas IPs válidas:", proxies)
    else: {item['puerto']}" for item in resultado['datos']]
        print("Error de interfaz: ", result.get('msg'))
else: print("Error de interfaz: ", result.get('msg'))
    print("Solicitud de red rechazada, código de estado:", resp.status_code)

Aquí viene el punto:Compruebe primero el código de estado HTTP y después el código de estado comercialDoble seguro. La IP de ipipgo suele ser válida durante 30 minutos, recuerda cambiarla a tiempo.

Cómo se envían las IP proxy a los rastreadores

He aquí una operación de mal gusto: la agrupación dinámica de proxys. Guarda las IPs de proxy que consigas en una lista y recíclalas, mucho más estable que una sola IP:

from itertools import ciclo

def get_proxy_pool()::
     Esto llama a la API ipipgo.
    devuelve proxies

proxy_pool = cycle(get_proxy_pool())

 Cuando lo uses, hazlo así
proxy_actual = next(proxy_pool)
requests.get(url, proxies={"http": proxy_actual, "https": proxy_actual})

Recuerde añadir un procesamiento de excepciones, si se produce un fallo, la IP cambiará automáticamente. La tasa de supervivencia de IP de ipipgo puede alcanzar 95% o más, más fiable que los proxies gratuitos.

Pautas de primeros auxilios para situaciones de vuelco habituales

P: ¿Qué debo hacer si sigo recibiendo errores SSL?

R: el ochenta por ciento es el protocolo proxy no está emparejado, los enlaces https tienen que usar https proxy, no confundir el tipo de protocolo. Compruebe la configuración del protocolo en el fondo ipipgo

Q：¿Ha fallado el análisis JSON?

R: 80% es un problema de codificación, intente resp.content.decode('utf-8') decodificación dura. ipipgo interfaz de retorno son estándar UTF-8

P: ¿No puedo utilizar la IP proxy cuando acabo de recibirla?

R: Compruebe la prevención de incendios de la red local, o cambie un nodo de la sala de servidores de ipipgo. Su sala de servidores de Jiangsu es particularmente amigable con las líneas domésticas

¿Por qué recomienda ipipgo?

Comparemos los principales proveedores de servicios del mercado:

Lo fundamental es que su vivienda ofrezcaLa única herramienta del país para comprobar la calidad de la propiedad intelectualLa función de obtener una IP proxy para probar y luego usar realmente ahorra tiempo. Ahora registrado también enviar paquete de tráfico 10G, suficiente para probar.

Como última advertencia, cuando trabaje con datos JSON, recuerde utilizar la funciónjson.dumps()El formateo de la salida ahorra mucho trabajo a la hora de depurar. Pon unos cuantos bloques try-except más en tu código y tendrás garantizado un script que durará más que el de los demás.