Scrapy vs BeautifulSoup: Selección del marco de rastreo

La colocación de herramientas no es el camino a seguir

Primero vamos a romper estas dos herramientas para entender. Scrapy esta cosa es un marco de rastreo serio, de la solicitud de red para el almacenamiento de datos todo incluido, como la construcción de una casa para que usted construya un buen andamiaje. BeautifulSoup es un analizador HTML, como comer cangrejos con pinzas, específicamente de la página web para recoger datos con. Por ejemplo, desea utilizar Scrapy para participar en el rastreo web, que vienen con reintento automático, control de concurrencia de estos mecanismos, pero si utiliza BeautifulSoup, usted tiene que hacer su propia biblioteca con una solicitud de solicitudes de red, manualmente hacer frente a todo tipo de excepciones.

En cuanto a las IPs proxy, Scrapy tiene elmecanismo de middleware integradoSi usas BeautifulSoup, tienes que rellenar los parámetros del proxy por separado cada vez que requests.get(), y si necesitas cambiar de IP frecuentemente, el código te puede dar gato por liebre. Y si usas BeautifulSoup, tienes que rellenar el parámetro proxy en cada requests.get(), y si necesitas cambiar de IP con frecuencia, el código puede hacerte un ovillo.

Hay una diferencia generacional en la forma de manejar los datos.

La especialidad de BeautifulSoup es analizar documentos HTML desordenados, y puede suavizar cualquier error de anidamiento de etiquetas o páginas web mal formateadas; los selectores XPath y CSS también son fáciles de usar, y son especialmente adecuados paraposicionamiento precisoElementos de página. Pero el propio Selector de Scrapy no es realmente tan malo, y funciona a la perfección con la lógica de rastreo.

Centrándonos en los problemas de ajuste de la IP del proxy. Con los proxies rotativos de ipipgo, Scrapy fue capaz deDescargar middlewareEl nivel de cambio automático de IP, por ejemplo, establecer cada 5 páginas para capturar los tiempos de cambio de proxy. Si usas BeautifulSoup+requests, tienes que escribir tu propio gestor de IP pool, y puede que no seas capaz de cambiar el proxy a tiempo, lo que puede llevar a bloqueos de IP.

Capacidad de respuesta Anti-Crawl

Hoy en día, el mecanismo anti-crawl de los sitios web es cada vez más despiadado, lo que demuestra la ventaja del framework. Scrapy viene con rotación de User-Agent, ajustes de retardo de petición, y con el alto alijo de proxies de ipipgo, puede disfrazar su crawler como unAcceso real de los usuariosNo estoy seguro de si usted es una buena persona, pero yo soy una buena persona. Recientemente para ayudar a la gente a hacer el proyecto tendrá un profundo conocimiento de la utilización de proxies libres para subir una plataforma de comercio electrónico, a 10 minutos para ser bloqueado, reemplazado con IP exclusiva de ipipgo, funcionando durante tres días seguidos están bien.

Si utiliza el programa BeautifulSoup, estas medidas anti-escalada tienen que construir sus propias ruedas. Por ejemplo, para hacer frente a CAPTCHA y mantener el conjunto de cookies, es fácil para los novatos sin experiencia a ciegas. Aquí para insertar una frase de la verdad, realmente quiere hacer rastreador de clase empresarial, o tienen que utilizar Scrapy + servicios profesionales de proxy para salvar el corazón.

Escenarios aplicables al lugar adecuado

Es más visual dar a los chicos toda la tabla comparativa:

Para dar un caso real: antes de subir un sitio web de reclutamiento, con BeautifulSoup guión en un primer momento bien, y así subir a la página 200 de la IP será bloqueado. Más tarde cambió a utilizar el marco Scrapy, en settings.py configurar la interfaz API ipipgo, establecer CONCURRENT_REQUESTS = 32, el agente gira automáticamente, la velocidad de despegue directo no ha sido bloqueado.

Preguntas frecuentes QA

P: ¿Qué herramienta debo elegir cuando estoy empezando?
R: Si sólo quiere coger unas pocas páginas y jugar con ellas, BeautifulSoup + el agente de pago por uso de ipipgo es suficiente. Pero si quieres hacer proyectos serios, se recomienda aprender Scrapy directamente, que es más eficiente a largo plazo.

P: ¿Qué tiene de malo utilizar una IP proxy y que te sigan bloqueando?
R: La calidad del proxy puede no funcionar, y muchos proxies gratuitos están en la lista negra. Recomendamos usar el proxy residencial puro de ipipgo, hemos probado la tasa de bloqueo se puede controlar a 5% abajo.

P: ¿Cómo configura Scrapy el proxy de ipipgo?
R: Algo sobre añadir tres líneas de código a middlewares.py:
"`python
request.meta['proxy'] = "http://用户名:密码@gateway.ipipgo.com:端口"
“`
Acuérdate de abrir el middleware de descarga en los ajustes y de ir a la web oficial para ver la documentación.

Por último, me gustaría decir que la herramienta en sí no es alta o baja, la clave es para que coincida con la escena. Pero si se trata de uso comercial, no te ahorres el dinero del proxy, usar la IP de calidad de ipipgo puede reducir muchos desvíos. Hace un par de días, algunos clientes trataron de usar un proxy gratuito, pero el resultado fue que no capturaron muchos datos, sino que tomaron la IP del servidor, lo que fue una gran pérdida, ¿no?