Python Web Crawler: Tutorial de Configuración Esencial de Proxy IP en Python Web Crawler

La dura operación de poner un rastreador en un manto de invisibilidad

Crawlers saben que sin un proxy IP es como correr desnudo en Internet, un minuto por la prohibición del sitio en un perro. Recientemente, muchos hermanos preguntaron cómo dar Python kit rastreador manto, hoy nos rompimos a hablar de este asunto.

¿Qué demonios pasa con las IP proxy?

En pocas palabras, se trata de encontrar un intermediario que te ayude a pasar los datos, como si pidieras comida para llevar y dejaras que el repartidor recoja la comida en tu nombre. Aquí tienes uno.crux: Los proxies residenciales se parecen más a las personas reales que navegan por Internet, los proxies de centros de datos se identifican fácilmente, consulte esta tabla para ver la diferencia:

Configuración práctica de agentes

He aquí una castaña usando la API de ipipgo para tantear el terreno con eso de la IP dinámica primero:

solicitudes de importación

def get_proxy().
     Rellena el enlace a la API proporcionada por ipipgo.
    api_url = "https://api.ipipgo.com/getproxy"
    return requests.get(api_url).text

proxies = {
    'http': f'http://{get_proxy()}',
    https': f'http://{get_proxy()}'
}

resp = requests.get('sitio de destino', proxies=proxies)

prestar atención aCambiar la IP para cada solicitudNo cojas una IP y les tomes el pelo, las webs no son tontas.

Posiciones especiales de Scrapy framework

Los veteranos con Scrapy tienen que poner las cosas en marcha en middlewares, aquí hay una plantilla que ahorra trabajo:

clase ProxyMiddleware.
    def process_request(self, request, spider): current_proxy = get_proxy() Llamar a la API de ipipgo.
        current_proxy = get_proxy() llamar a la API de ipipgo
        request.meta['proxy'] = f "http://{proxy_actual}"

Recuerde que para activar este middleware en la configuración, se recomienda trabajar con la opciónmecanismo de reintento automáticoSu uso es más seguro.

Primeros auxilios en caso de vuelco

Que no cunda el pánico ante estos tres problemas:

1. IP de repente se cuelga todo el tiempo → Comprueba el saldo de la cuenta e intenta cambiar el tipo de acuerdo.
2. A paso de tortuga. → cambiar el agente residencial estático o la línea TK
3. Siempre saltando CAPTCHA