BeautifulSoup vs Scrapy: Selección del marco de rastreo

En primer lugar, ¿por qué los rastreadores tienen que utilizar IP proxy?

Los hermanos que se dedican a la captura de datos deben haberlo experimentado, basta con correr durante dos minutos y recibir el403 ProhibidoLa punta. En este momento, si no cuelga el agente, la luz es el día en vano, o directamente por el sitio negro. Tome el proyecto de comparación de precios de comercio electrónico que hice el año pasado, con IP real capturado menos de 100 veces, todo el equipo fue bloqueado durante tres días.

en este momentoipipgoLa rotación del proxy será muy útil - cada solicitud de una IP de salida diferente, el sitio no puede decir si usted es una persona real o una máquina. Especialmente la necesidad de funcionamiento a largo plazo de la tarea, sin proxy es como correr desnudo en el campo de batalla, tarde o temprano ser muerto a tiros.

II. El modo de vida de BeautifulSoup

Esta cosa no es técnicamente un marco, es más comoAnalizador HTML. Por ejemplo, usted quiere elegir el contenido de un mensaje del foro, con las solicitudes + bs4 combinación es la más adecuada. Para citar un escenario práctico: un día la operación de repente quieren competir sitios 500 título de los productos básicos, esta vez ahora aprender Scrapy es demasiado tarde.

importar peticiones
from bs4 import BeautifulSoup
from ipipgo import get_proxy Aquí accedemos al SDK de ipipgo.

proxy = get_proxy()
headers = {'User-Agent': 'Mozilla/5.0'}
resp = requests.get('https://target-site.com',
                   proxies={"http": proxy}, headers=headers)
                   headers=cabeceras)
soup = BeautifulSoup(resp.text, 'lxml')
titles = soup.select('.product-title')

Obsérvese en el código anterior queget_proxy()De eso se trata.ipipgoInterfaz de adquisición de IP dinámica proporcionada. Cada vez que se ejecuta el script cambia automáticamente IP, más de diez veces más estable que el uso de un proxy libre.

III. La jugabilidad industrial de Scrapy

Cuando la demandaObtenga 100.000 datos diarios de forma regularEs hora de sacar Scrapy. Su mecanismo de middleware es mucho más amigable con el soporte de proxy, especialmente en combinación con el móduloipipgoEl conjunto de IP concurrentes permite un rastreo realmente distribuido.

Configura el middleware proxy en settings.py:

DOWNLOADER_MIDDLEWARES = {
    scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 543,
}

IPIPGO_API = "your_account:your_token@gateway.ipipgo.com:8000"

Cuando se configura de esta manera, cada solicitud pasa a través de la funciónipipgoEl canal proxy. Probado en gigabit de ancho de banda, 8 horas pueden rastrear 800.000 datos y cero ban.

IV. ¿Qué marco elegir?

Delimitar el foco de atención:Scrapy debe combinarse con un conjunto de agentes de alta calidad.Los proxies ordinarios simplemente no pueden transportar peticiones de alta frecuencia. Por eso se recomienda queipipgode servicios comerciales, la gente ha optimizado QPS específicamente para los rastreadores.

V. Guía práctica para evitar escollos

Me he encontrado con la situación más lamentable: un proxy libre, el resultado de los datos de retorno son todos广告. Posteriormente se cambió aipipgode la Enterprise Edition, sólo para descubrir que los datos capturados previamente 30% estaban contaminados.

Sugiero añadir un enlace de comprobación de IP al código:

def comprobar_proxy(ip).
    probar.
        requests.get('http://ip.ipipgo.com/check',
                    requests.get('', proxies={'http':ip}, timeout=5))
                    timeout=5)
        return True
    excepto.
        return False

Esta interfaz de detección esipipgoServicio único que confirma si el agente actual está disponible en tiempo real para evitar el rastreo de datos sucios.

VI. Preguntas frecuentes QA

P: ¿Qué framework deberían aprender primero los principiantes?
R: necesidades temporales con BeautifulSoup + Solicitudes, proyectos a largo plazo directamente en Scrapy. independientemente de cuál elegir, recuerde que debe coincidir con laipipgode los servicios de la agencia.

P: ¿Con qué frecuencia debo cambiar la IP de mi proxy?
R: Los sitios web normales cambian una vez cada 5 minutos, y se recomienda que los sitios web con un estricto sistema anti-escalamiento cambien cada vez que se solicite. EnipipgoEl fondo puede configurarse para que la frecuencia cambie automáticamente.

P: ¿Por qué sigue bloqueado después de usar un proxy?
R: Compruebe si está utilizando un proxy transparente.ipipgoLa gran cantidad de proxies ocultarán el encabezado X-Forwarded-For, y los sitios web no verán la IP real en absoluto.