Recogida de datos de sitios web: esquema de configuración de la IP proxy de recogida de datos de sitios web

En primer lugar, la recopilación de datos del sitio web ¿por qué tener que utilizar IP proxy?

Participó en la recopilación de datos saben que el sitio de destino es muy sensible a la frecuencia de las visitas. Por ejemplo, un tesoro página de detalles del producto, el uso continuo de la misma IP cepillo de media hora, Hierro desencadenó mecanismo anti-escalada. En este momento, el proxy IP es comocapa de invisibilidadque permite al proceso de adquisición alternar entre distintas identidades.

Para citar un caso real: hay un equipo de sistema de comparación de precios, con su propio servidor para recoger directamente una plataforma de comercio electrónico, los resultados del día siguiente toda la sala de servidores IP están bloqueados. Más tarde, cambiaron a utilizar el proxy dinámico residencial de ipipgo para dispersar la solicitud a diferentes áreas de la piscina IP, y la tasa de éxito de la colección se tiró directamente a 95% o más.

Asignación de IP proxy de un manual práctico

Aquí hay una demostración de la configuración de proxy para la biblioteca de peticiones de Python para los chicos, prestar atención a los detalles en el código:

solicitudes de importación

 Dirección proxy extraída de ipipgo (ejemplo)
proxy = "http://user:password@gateway.ipipgo.com:9020"

intentar.
    response = requests.get(
        'https://目标网站.com/api',
        proxies={'http': proxy, 'https': proxy},
        timeout=10
    )
    print(respuesta.texto)
except Exception as e.
    print("Solicitud fallida, inténtelo de nuevo con otra IP:", str(e))

Destaca algunos escollos:

1. No exceda el tiempo de espera de 15 segundos, de lo contrario afectará a la eficacia de la recogida.
2. Recuerde gestionar la validación del certificado SSL (parámetro verify)
3. Se recomienda cambiar las IP residenciales dinámicas en cada solicitud

En tercer lugar, el marco Scrapy de la configuración del middleware proxy

Para los veteranos que usáis Scrapy mirad aquí y añadid esto a middlewares.py:

clase IpProxyMiddleware.
    def process_request(self, request, spider).
         Obtener el último proxy de la API ipipgo
        proxy_actual = get_ipipgo_proxy()
        request.meta['proxy'] = current_proxy
         Recuerde añadir el UA aleatorio
        request.headers['User-Agent'] = random.choice(USER_AGENTS)

He aquí un pequeño truco: en settings.py ponga el parámetroSOLICITUDES_CONCURRENTESAjústalo a 20-50, con un grupo de IP proxy para maximizar la velocidad de recogida.

IV. Pautas de primeros auxilios para situaciones habituales de vuelco

V. Sesión de control de calidad

P: ¿Cómo elijo entre una IP estática y una IP dinámica?
R: necesidad de mantener el estado de inicio de sesión de la selección de estática (como la colección de la necesidad de iniciar sesión en la página), la colección ordinaria de dinámica más rentable. ipipgo estática residencial de 35 yuanes / a / mes, las empresas de nivel empresarial se recomienda elegir esto.

P: ¿Cómo rompo el CAPTCHA cuando me lo encuentro?
R: No duro sólo, dos programas: 1. reducir la frecuencia de recogida 2. con la plataforma de codificación. Al mismo tiempo, se recomienda utilizar la línea TK de ipipgo, este tipo de IP está marcado como una mayor probabilidad de usuarios normales.

VI. guía de selección de paquetes ipipgo

Basado en nuestra experiencia real:

• Equipo principiante: elija Dynamic Residential Standard Edition (7,67 $/GB), adecuada para colecciones pequeñas y medianas.
• Usuarios empresariales: directamente en la versión empresarial de Dynamic Residential (9,47 $/GB), con canal API exclusivo
• Necesidades especiales: tales como la necesidad de inicio de sesión IP fija, con $ 35 / mes residencial estática

Por último, no trate de usar un proxy gratuito, he visto algunas personas recogen la mitad de los datos mezclados en los anuncios de espinacas, sólo para descubrir que el proxy estaba contaminado después de medio día de investigación. Cosas profesionales o para ipipgo este tipo de proveedores de servicios regulares fiables, después de todo, tienen más de 200 países operador de recursos en la parte inferior.