Ejemplo de BeautifulSoup: análisis sintáctico de código HTML en Python

Los rastreadores siempre tienen la IP bloqueada, ¡prueba esta combinación!

Los hermanos deben haberse encontrado con esta situación, ¿verdad? Cuando escribes un script crawler en Python, recibes un error 403 del sitio de destino justo después de dos minutos de ejecución. En este momento no se apresure a aplastar el teclado, hoy te enseñamos a utilizar elBeautifulSoup+ProxyIPEsta pareja de oro para romper el hielo.

Para citar un caso real: el mes pasado hay un hermano de comparación de precios de comercio electrónico, con la secuencia de comandos ordinaria para capturar los datos de una plataforma de compras, los resultados acaba de ejecutar media hora IP será tirado negro. Más tarde cambió a utilizar ipipgo esquema de proxy de rotación, con las habilidades de análisis sintáctico que vamos a hablar, ahora todos los días para capturar decenas de miles de información estable de los productos básicos.

Creación práctica de un entorno antibloqueo

Instale primero estas dos bibliotecas esenciales (recuerde que debe operar en un entorno virtual):

pip install beautifulsoup4 peticiones

Aquí viene lo bueno. Una conexión directa tradicional es como navegar desnudo por la web, usar una IP proxy equivale a ponerle una coraza a un rastreador. Aquí tienes un ejemplo de cómo configurar el servicio de ipipgo:

proxies = {
    'http': 'http://username:password@gateway.ipipgo.com:9020',
    https: http://username:password@gateway.ipipgo.com:9020
}

Tenga cuidado de reemplazar la información de autenticación con su propia cuenta. El proxy exclusivo de ipipgo tiene puertos separados para cada canal, así que no los mezcle.

Cuatro pasos para corregir el análisis sintáctico de la web

Análisis sintáctico real de un sitio de noticias (desensibilizado):

importar peticiones
from bs4 import BeautifulSoup

headers = {'User-Agent': 'Mozilla/5.0'} fake browser
response = requests.get('https://example.com/news', proxies=proxies, proxies.get('https://example.com/news', 'https://example.com/news'))
                       proxies=proxies, cabeceras=cabeceras)
                       cabeceras=cabeceras)
soup = BeautifulSoup(response.text, 'html.parser')

 Obtener títulos con una clase específica
titles = soup.find_all('h3', class_='news-title')
for título en títulos.
    print(title.get_text().strip())

Una guía para evitar el pozo:Aquí el más fácil de plantar en tres lugares: 1) no agregó el encabezado de solicitud se identifica como un rastreador 2) proxy de mala calidad IP conduce a la falta de solicitud 3) cambios en la estructura de la página conduce a la falta de selector. Los dos primeros problemas se pueden solucionar con la plantilla de ipipgo de calidad de proxy + cabecera de petición estándar.

¿Cómo se rompe el contenido dinámico?

Cuando se trata de páginas renderizadas en JavaScript, BeautifulSoup puede no ser suficiente. Que no cunda el pánico, es la solución definitiva:

Centrándonos en la solución Selenium, recuerda añadir el proxy en la configuración del controlador:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument('--proxy-servidor=http://gateway.ipipgo.com:9020')
driver = webdriver.Chrome(options=opciones)

Preguntas frecuentes Botiquín de primeros auxilios

P: ¿Por qué sigue bloqueado a pesar de que, obviamente, estoy utilizando un proxy?
R: Compruebe tres cosas: 1) si el proxy está en vigor 2) si la frecuencia de peticiones es demasiado alta 3) si activa las reglas anti-escalado del sitio web. Se recomienda usar el paquete de facturación por volumen de ipipgo para cambiar automáticamente entre IPs de alto alijo.

P: ¿Qué debo hacer si el código de devolución es desordenado?
R: Especifique la codificación durante la inicialización de BeautifulSoup:
soup = BeautifulSoup(response.content, 'html.parser', from_encoding='utf-8')

P: ¿Cómo elijo un paquete de agente para ipipgo?
R: Para principiantesversión de prueba(5 $/día), que se transferirá cuando las operaciones se estabilicenEdición personalizada para empresasEsta es la primera vez que hemos hecho esto. Nota especial: Hacer colección a gran escala debe elegir piscina IP exclusiva, IP compartida es fácil de afectar a los demás.

Nota final: el núcleo del análisis sintáctico web reside en la funciónAdquisición de páginas estable + extracción de datos precisa. Utilice el servicio de proxy de ipipgo es como un turbocompresor para el rastreador, tanto para evitar que la IP bloqueada y mejorar la eficiencia de la colección. Hay preguntas específicas bienvenidos a ipipgo sitio web oficial para encontrar soporte técnico, su velocidad de respuesta de servicio al cliente técnico es realmente rápido, probar personalmente el tipo de segundos de vuelta.