Página web de Open Data: Programa de recopilación de proxy de datos abiertos

¿Por qué siempre se bloquea la recopilación de datos abiertos? Prueba con este comodín.

Los hermanos que se dedican a la recogida de datos entienden que el crawler corre y es asfixiado por el sitio web. O bien la IP está bloqueada, o la frecuencia de las restricciones de acceso, lo más desagradable es que algunos sitios directamente le dan un CAPTCHA emergente. En este momento tenemos que utilizar IP proxy para jugar la guerra de guerrillas - para decirlo sin rodeos es utilizar diferentes rondas de IP, de modo que el sitio piensa que es un grupo de personas en la visita.

Por ejemplo, desea subir los datos de tráfico público de una ciudad, el mismo acceso IP 50 veces en una fila, el servidor inmediatamente negro. Pero si cada solicitud es una dirección IP diferente, el sistema de control de viento del sitio se confunde. Aquí hay un punto clave:La calidad de la IP proxy determina directamente la eficacia de la recaudaciónEl problema es que hay muchos proxies diferentes en el mercado. Los servicios proxy en el mercado son una bolsa mixta, y algunos de los más baratos se encuentran con un tiempo de supervivencia de IP de sólo 3 segundos, o simplemente no pueden conectarse.

Tres consejos para elegir el tipo de agente adecuado

Proxy IP se divide en tres grandes escuelas, utilice el derecho a obtener el doble de resultado con la mitad de esfuerzo:

Centrándose en IP residencial dinámica, esta cosa es la más adecuada para la recogida de datos públicos. Debido a que toma la banda ancha doméstica real, cada solicitud cambia automáticamente de IP, el sitio no puede saber si se trata de una persona real o una máquina. Al igual que el grupo de proxy dinámico de ipipgo cubre más de 200 países, y también puede especificar la ubicación a nivel de ciudad, que es bueno para la captura de datos geográficos.

Enseñarte a captar agentes

He aquí un ejemplo de Python en vivo dado para recoger datos utilizando la biblioteca de peticiones + proxy IP:

solicitudes de importación

 Dirección API proxy de ipipgo
proxy_api = "https://api.ipipgo.com/getproxy?key=你的密钥"

def obtener_datos(url).
     Obtener IP de proxy nueva
    proxy = requests.get(proxy_api).json()['proxy']

    proxies = {
        "http": f "http://{proxy}",
        "https": f "http://{proxy}"
    }

    try.
        response = requests.get(url, proxies=proxies, timeout=10)
        return respuesta.texto
    except Exception as e.
        print(f "Solicitud fallida, cambio automático de IP: {str(e)}")
        return get_data(url) auto-retry

 Ejemplo de recogida de datos públicos
datos_tráfico = get_data("http://data.example.com/traffic-info")

Tenga cuidado de ponerintervalo de solicitudControl en 3-8 segundos al azar, demasiado regular fácil de ser identificado. cliente de ipipgo viene con función de programación inteligente, puede controlar automáticamente la frecuencia de conmutación, que escribir su propio sondeo para ahorrar tiempo.

Guía para pisar el foso (sesión de control de calidad)

P: ¿Qué debo hacer si utilizo una IP proxy y se vuelve lenta?
R: El 80% es que la calidad del IP pool no es buena. Seleccione soporteMedición de la velocidad en tiempo realde proveedores de servicios, como el cliente ipipgo que muestra la latencia de cada nodo y bloquea manualmente los nodos lentos.

P: ¿Qué debo hacer si me encuentro con un bombardeo de CAPTCHA?
R: dos opciones: 1) reducir la frecuencia de recogida, cada IP no exceda de 500 solicitudes por hora 2) en la IP residencial estática, este tipo de IP tiempo de supervivencia es largo, no es fácil de activar la verificación

P: ¿Cómo puedo resolver el problema de la necesidad de recopilar datos públicos extranjeros?
R: con agente de línea dedicada transfronteriza, como ipipgo línea TK ir banda ancha local de la familia, que la sala de servidores ordinarios IP estable mucho más. La prueba real para coger el conjunto de datos público europeo, la tasa de éxito puede ser más de 98%.

¿Por qué recomienda ipipgo?

Los servicios de esta agencia tienen tres ventajas:
1. Capacidadtarifa horariaNo es necesario adquirir una suscripción mensual para proyectos temporales.
2. Cliente integradoComprobación de la salud de IPExpulsa automáticamente los nodos fallidos
3. ApoyoProtocolo Socks5Es fácil interactuar con Python, Java, etc.
En particular, su agente dinámico residencial, la colección de prueba real de una plataforma abierta del gobierno, el funcionamiento continuo de 12 horas sin ser bloqueado, el costo sólo pasó menos de 20 yuanes.

Por último, no te fijes sólo en el precio a la hora de elegir un servicio proxy. Algunos paquetes baratos con IP reciclada (IP reciclada), ha sido durante mucho tiempo retirado por los principales sitios negro. Se recomienda para obtener un paquete de prueba para probar el agua, como ipipgo nuevos usuarios para enviar tráfico de 500 MB, suficiente para ejecutar un pequeño proyecto para verificar el efecto.