Curso acelerado de rastreo web HTML: XPath y expresiones regulares

En primer lugar, los blancos también pueden entender la postura introductoria del rastreador

¿Quieres hojear datos de páginas web pero temes que te bloqueen? Recuerde esto primeroTriángulo de OroLo primero que hay que hacer es utilizar la biblioteca requests para enviar peticiones, XPath para encontrar la ubicación y expresiones regulares para recoger los detalles. No se deje intimidar por la terminología, vamos a tomar un sitio de comercio electrónico de seguimiento de precios como un ejemplo, suponiendo que desea capturar el precio de los teléfonos móviles, con requests.get () puede obtener el código fuente de la página web.

en este momentoGrupo de IP proxy para ipipgoAhí es donde entra en juego. ¿Por qué? La misma IP está solicitando como loca, si el sitio web no te bloquea, ¿quién lo hará? Agrega unas lineas de configuracion de proxy en el codigo, rota la direccion IP proporcionada por ipipgo, tal como si jugaras el juego de la "cara", para que el sitio piense que cada vez te visita una persona diferente.

En segundo lugar, XPath para encontrar los datos que el cajón es también simple

Imagine la estructura de una página web como un armario, y XPath es el lenguaje de navegación que indica a la aplicación "la segunda prenda de la izquierda en el tercer cajón". Haga clic con el botón derecho del ratón en un elemento en las Herramientas para desarrolladores de Chrome (F12) y seleccione Copiar XPath para obtener directamente la ruta de ubicación. Por ejemplo, el precio de un teléfono móvil podría estar en el rango de//div[@class='price-box']/span[1]Este puesto.

III. Expresiones regulares: la navaja suiza de la limpieza de datos

Cuando los datos de la web son un caos, los habituales son tu filtro. Por ejemplo, si coges un precio que dice "a partir de ¥3.299", utiliza la funciónd+,d+Entonces puedes extraer 3299. Recuerda los tres signos cardinales:.? (cualquier carácter)yd+ (número)yw+ (alfanumérico).

Caso práctico: tratamiento de números de teléfono con impurezas
Texto original: Número de teléfono del servicio de atención al cliente400-1234-5678(días laborables)
Fórmula normal:d{3}-d{4}-d{4}

En cuarto lugar, la forma correcta de abrir el proxy IP

Lo he visto a las 4 de la mañana.Error de conexión¿Qué pasa? Eso es lo que pasa cuando no usas un buen proxy. Añadir el proxy de ipipgo a tu código es como ponerle capa y espada a un rastreador:

proxies = {
    'http': 'http://username:password@ipipgo-proxy-server:puerto',
    https': 'https://username:password@ipipgo-proxy-server:port'
}
response = requests.get(url, proxies=proxies)

Aquí viene el punto:Selección aleatoria de IP por solicitudyConmutación automática anormalyComprobación temporizada de la disponibilidad de IPLa API de ipipgo devuelve directamente una lista de los proxies disponibles, lo que consume mucho menos tiempo que mantenerlos usted mismo.

V. Guía para evitar el pozo: 5 errores comunes de los principiantes

1. Olvidó configurar el encabezado de la solicitud y fue interceptado como un bot
2. ¡Un solo golpe de IP, 10 minutos para conseguir un gran paquete de prohibiciones!
3. No lidiar con la carga asíncrona de páginas y coger soledad
4. Las normas son demasiado rígidas, la página web no funcionará si cambias el estilo.
5. Sin gestión de excepciones, el programa se bloquea en mitad de la noche.

VI. Tiempo de control de calidad: ¡querrás preguntar sobre esto!

P: ¿Qué debo hacer si XPath no funciona en la revisión del sitio web?
R: Utilice más rutas relativas y coincidencias difusas, por ejemplo//[contains(@class,'precio')]Más resistente al cambio que la clase fija

P: ¿Cómo se factura a los agentes de ipipgo?
R: Sus prensas familiaresUso realDe pago, a diferencia de algunas plataformas en las que tienes que comprar un paquete. Los nuevos usuarios reciben 5 $ de bonificación, ¡suficiente para probar miles de solicitudes!

P: ¿Cómo rompo el CAPTCHA cuando me lo encuentro?
R: Reducir la frecuencia de solicitud + cambiar UA + utilizar el proxy de alto alijo de ipipgo conjunto de tres piezas. Realmente encuentro hardcore código de verificación, se recomienda acceder a la plataforma de código.

VII. Último consejo: no seas imprudente

Las orugas son batallas persistentes, y de lo que se trata es de ver quién vive más. Haz bien estas tres cosas:
1. Reposo aleatorio por petición (1-3 segundos)
2. Preparación de tres conjuntos de programas de análisis para proyectos importantes
3. Utilización del ipipgogrupo exclusivo de IPRealizar el programa de vinculación
Recuerde, el rastreo sostenible es el camino a seguir, no pierda una pequeña cantidad de dinero para ahorrarse los honorarios de la agencia.