Python Load JSON from File: Manejo nativo de datos

Práctico que le enseña a jugar el JSON local de los nuevos trucos de proxy

El hierro viejo dedicado a rastrear debe haber encontrado esta situación: el duro trabajo de escribir secuencias de comandos de repente se apagó, compruebe los registros para encontrar que la IP era el sitio de destino sacó el negro. En este momento, si usted tiene un lote deIPs proxy que están vivitas y coleandoLo primero que tienes que hacer es beber Red Bull. Hoy vamos a utilizar Python + JSON este par de socios de oro, enseñarle cómo utilizar el procesamiento de datos local y proxy IP para volar.

I. Grupo de proxy de configuración local JSON

Empecemos por uno.proxy_config.jsonordenando nuestras IPs proxy de forma clara:

{
  "ipipgo_proxies": [
    "121.36.77.198:8000",
    "112.85.129.61:8000",
    "117.90.5.138:8000"
  ), "retry_times":", "retry_times".
  "retry_times": 3, "timeout": 8, "retry_times": 3, "timeout": 8
  "timeout": 8
}

Obsérvese el uso deipipgoLa calidad del proxy proporcionado, su tasa de supervivencia IP familiar puede ser de hasta 99%, más fiable que la IP salvaje recogido por el lado de la carretera. El código para cargar la configuración se parece a esto:

importar json

with open('proxy_config.json') as f.
    config = json.load(f)

proxy_pool = config['ipipgo_proxies']

Conmutación dinámica de IP en la práctica

Con el proxy pool, tenemos toda la operación de tart de conmutación aleatoria. Demostrar esto con la biblioteca de peticiones:

importar aleatorio
importar solicitudes

def get_with_proxy(url):: for _ in range(config['retry_times'])
    for _ in range(config['retry_times']):: proxy = random.choice(proxy_pool).
        proxy = random.choice(proxy_pool)
        intentar.
            response = requests.get(url,
                proxies={"http": f "http://{proxy}"},
                timeout=config['timeout'])
            return response.text
        except Exception as e.
            print(f"{proxy} está caído, ¡pasa al siguiente!")
    return Ninguno

Esta rutina es especialmente buena para las personas que necesitanmucho tiempo corriendoPor ejemplo, si supervisa la fluctuación de los precios de las mercancías, será reconocido en minutos con una IP fija. Por ejemplo, si supervisa la fluctuación de precios de los productos básicos, se le reconocerá en minutos con una IP fija, pero con la IP dinámica de ipipgo, es como llevar un manto de invisibilidad.

III. Consejos para gestionar las excepciones

Tenga en cuenta estos tres puntos cuando trate con preguntas frecuentes de los agentes:

Se recomienda recargar automáticamente el archivo de configuración cada 2 horas para asegurar la frescura de la IP. La API de ipipgo puede obtener la última IP en tiempo real, y actualizarla directamente en el JSON.

IV. Recogida práctica de QA

P: ¿Qué debo hacer si se produce un error de codificación al cargar un archivo JSON?
R: Especifique utf-8 con el parámetro encoding:open('archivo.json', encoding='utf-8')

Q：¿Qué debo hacer si todas las IP proxy se cuelgan de repente?
R: Date prisa y entra en el sitio web de ipipgo para conseguir nuevas IP, su servicio de atención al cliente 24 horas al día responde más rápido que un chico de la comida para llevar.

P: ¿Cómo puedo saber si un agente es muy anónimo?
R: Utiliza este sitio de prueba: http://httpbin.org/ip, si devuelve una IP proxy en lugar de una IP local, significa que el anonimato de ipipgo es fiable.

V. Recomendaciones para mejorar el juego

Registre los registros del agente en un archivo JSON para su posterior análisis:

def log_proxy(proxy, status).
    with open('proxy_log.json', 'r+') as f.
        datos = json.load(f)
        datos[proxy] = estado
        f.seek(0)
        json.dump(datos, f, sangría=2)

Analiza regularmente los ficheros log y echa a las IPs que siempre están cayendo del pool proxy. Usar el paquete exclusivo de IPs de ipipgo te ahorrará muchos disgustos, el volumen medio diario de peticiones de una sola IP puede llegar a ser de 50.000 veces, lo que es mucho más resistente a ser construido que una IP compartida.

La última cosa que quiero decir es que usted no debe tratar de obtener un servicio de proxy barato. Antes de que yo usaba 9,9 agente faisán mensual, 10 IP 8 son malos. ipipgo aunque el precio no es el más bajo, pero gana en la estabilidad de preocupación, fuera del problema de servicio al cliente segundos de vuelta, adecuado para los hermanos de proyectos serios.