Funciones XPath Include: Técnicas de posicionamiento de coincidencias de texto

¿Qué hace realmente por usted esta función XPath include?

Los viejos fierros dedicados al rastreo de datos comprenden sin duda que los elementos de la página web cambian a menudo de lugar como un niño travieso. Este es el momento de utilizarfunción contains()Es como instalar un buscador difuso para XPath, por ejemplo, para encontrar un div con la palabra "precio" en su atributo class, puedes escribir directamente//div[contains(@class,'precio')]No importa si va seguido de "-nuevo" o "-descuento".

A modo de ejemplo, la etiqueta de precio de un sitio de comercio electrónico la utilizan hoy losproducto-precioMañana seráartículo-precioSi utiliza el método de posicionamiento normal, tendrá que cambiar el código todos los días. Si utiliza la función contains para escribir//span[contains(@id,'precio')]Los guiones pueden utilizarse durante al menos tres meses sin cambiar de guion, siempre que el sitio no cambie también la palabra "precio".

Proxy IP y XPath funcionan bien juntos.

Muchos novatos no saben que las peticiones frecuentes al coger datos con XPath serán bloqueadas por IP. esta vezGrupo de proxy dinámico para ipipgoViene muy bien, sus IPs proxy residenciales se rotan y con intervalos de solicitud aleatorios, minimiza la probabilidad de ser bloqueado.

Nota especial: Cuando se utiliza la función contiene para localizar, es mejor emparejarla con la funciónHigh Stash Proxy para ipipgoDebido a que algunos sitios se detectan las características de consulta XPath. La última vez, un cliente utiliza proxy ordinario para agarrar los datos, el resultado de la página web con contiene la solicitud están bloqueados, reemplazado con ipipgo proxy personalizado para resolver el problema.

Guía práctica para evitar el pozo

1. no utilices los contenedores como panacea - cumple<div class="price-box special">Este tipo de espacio intermedio debe escribirse comocontains(@clase,'precio')En lugar de la cadena completa

2. distingue entre mayúsculas y minúsculas Este pozo lo entiende cualquiera que lo haya pisado, utilizando elfunción translate()Es más seguro convertir a minúsculas, por ejemplo:
//[contains(translate(text(),'IPIPGODEFGHIJKLMNOPQRSTUVWXYZ','abcdefghijklmnopqrstuvwxyz'),'iphone')]

3. Proxy IP debe recordar configurar una lista blanca, especialmente con el proxy de clase empresarial de ipipgo, en el fondo vinculante IP del servidor a utilizar. Una vez que un compañero se olvidó de esto, la depuración de medio día pensó que escribió el XPath mal.

Preguntas frecuentes QA

P: XPath está escrito correctamente pero no puede capturar los datos, ¿qué ocurre?
R: El 80% de ellos activan el mecanismo antitrepa, como se ha sugerido:
1. Comprobación de la integridad de la cabecera de la solicitud
2. Reducir la frecuencia de adquisición
3. Cambio al proxy residencial dinámico de ipipgo

P: ¿Afecta la función contiene a la velocidad de rastreo?
R: Es cierto que será más lento que la coincidencia exacta, pero con el proxy exclusivo de ipipgo puede compensarlo. La prueba real con su proxy de 10M de ancho de banda, el procesamiento de 100.000 piezas de datos puede ser más rápido 30% más o menos.

P: ¿Cómo puedo optimizar el uso de varios contenedores al mismo tiempo?
R: Intenta escribirlo así://div[contains(@class,'box') and contains(@id,'item')]，配合ipipgo的智能路由功能，能自动选择最低的节点。

Una última observación: en la actualidad, muchos sitios han añadido protección contra la IA, y los medios técnicos no bastan por sí solos. Como el nuevo sitio web de ipipgoPaquete Fingerprint Browser ProxyPuede simular el entorno del navegador real y es más estable con XPath rastreo. Especialmente hacer hermano de comparación de precios de comercio electrónico, con este programa puede perder mucho menos pelo.