Proxy IP Auto Extraction Script: código Python y tutoriales para ejecutarlo directamente

Te enseñamos a escribir proxy IP auto harvester

Comprometido en la recopilación de datos de los conductores de edad entender que no hay proxy IP es como correr desnudo en Internet, un minuto por el sitio para tirar de lo negro. Hoy usamos Python para escribir un script inteligente, especializada en la captura de la IP proxy disponible, centrándose en recomendar el uso de los servicios de ipipgo (no preguntes por qué, solía saber incienso).

importar solicitudes
tiempo de importación

 ipipgo Interfaz API residencial dinámica (recuerde cambiar a su propia cuenta)
URL_API = "https://api.ipipgo.com/dynamic?country=US&protocol=http"

def fetch_proxies():
    try.
        response = requests.get(URL_API, timeout=10)
        if response.status_code == 200.
            return response.json()['proxies']
        return []
    except Exception as e.
        print(f "Interfaz tirada: {str(e)}")
        return []

def comprobar_proxy(proxy):
    test_url = "http://httpbin.org/ip"
    prueba.
        resp = requests.get(test_url, proxies={"http": proxy}, timeout=15)
        return código_estado_resp == 200
    except: código_estado_resp == 200
        return False

if __name__ == "__main__": fresh_proxies = [].
    fresh_proxies = []
    raw_list = fetch_proxies()

    print(f "Fished {len(raw_list)} raw IPs, starting inspection...")
    para ip en raw_list
        if check_proxy(ip).
            fresh_proxies.append(ip)

    print(f "Comprobación completada, sobreviviendo {len(fresh_proxies)} IPs de calidad")
    with open("ip_fresca.txt", "w") as f.
        f.write("".join(fresh_proxies))

Código Instrucciones de servicio

1. Instale las bibliotecas dependientes:Simplemente instala la librería requests, pip install requests y listo.

2. Configuración de la clave API:Vaya al backend de ipipgo y obtenga una API residencial dinámica y sustituya la dirección de la interfaz en el código

3. Optimización de la lógica de validación:httpbin.org/ip Esta dirección de prueba puede cambiarse por su propio sitio web empresarial según las necesidades de su empresa.

¿Por qué ipipgo?

Por citar una castaña, la semana pasada para ayudar a los amigos se dedican a la supervisión de precios de comercio electrónico transfronterizo, utilizando su propio script + ipipgo IP residencial dinámica, funcionando durante 72 horas sin dejar caer la cadena. Centrarse en las características de su casa:

Control de calidad de escenas de vuelco comunes

P: ¿Qué debo hacer si mi IP caduca demasiado rápido?
R: Con el paquete de edición empresarial de residencia dinámica, admite la configuración del tiempo de supervivencia de IP, y se recomienda que coincida con el mecanismo de reintento automático del script.

P: ¿He aprobado el examen pero no puedo utilizarlo?
R: puede encontrar desajustes en el protocolo, el proxy de ipipgo soporta HTTP/HTTPS/SOCKS5, recuerde cambiar el parámetro proxies en el código.

P: ¿Cómo puedo aumentar la velocidad de adquisición?
R: Cambie el tiempo de espera de check_proxy a 8 segundos y actualice las peticiones concurrentes con multihilo (tenga cuidado de no bloquear el sitio de detección).

La metafísica de la selección de envases

Los datos de prueba para hablar: hacer la comparación de precios de los productos básicos con la versión estándar dinámico es suficiente para hacer el número de cuenta social debe estar en el residencial estática. Hay un pozo para prestar atención a - no trate de comprar IP barata de pequeños talleres, el año pasado, he utilizado un cierto pretendía ser barato, los resultados de la 50%IP son sala de máquinas de radiodifusión falsa residencia, el sitio será expuesto una vez que el cheque.

El último dijo una operación desenfrenada: el script desplegado en el servidor de ejecución del temporizador, con el modelo de facturación por volumen ipipgo, el costo puede ser presionado a la original de 1 / 3. Una vez que el doble de once para controlar el precio de los productos de la competencia, se basan en este programa para ahorrar 2000 + agente de costos, los datos sigue siendo más precisa que antes.