¿Qué hace realmente XPath con nombres de clase?
Cualquiera que sea un rastreador de datos debe saber que esos elementos de una página web son como camaleones, especialmente hoy en día cuando están llenos de
// Como ejemplo en vivo
//div[contains(@class,'producto-elemento')]
¿Cómo se unieron el proxy IP y XPath?
Con el servicio de proxy de ipipgo con XPath para capturar los datos, es como dar el rastreador con un manto de invisibilidad. Por ejemplo, si desea capturar el precio de un sitio de comercio electrónico, el mecanismo anti-rastreo de la gente encontró que usted visita con frecuencia, directamente a su IP apagar la pequeña casa negro. Esta vez con ipipgoAgentes Residenciales DinámicosLa tasa de éxito se duplica directamente cambiando diferentes IP de salida para cada solicitud, junto con un posicionamiento XPath preciso.
He aquí una situación real: un cliente con una IP fija para capturar datos, tres días para ser bloqueado. Después de cambiar al proxy rotativo de ipipgo.Dos semanas de funcionamiento continuo sin anomalíasla precisión del rastreo pasó de 481 TP3T a 921 TP3T.
No pise los tres pozos del posicionamiento del nombre de la clase
1. Cuidado con los nombres de clase con espacios: p. ej.
2. Nombre de clase generado dinámicamente: como class="ui-component-12345″, esta vez para coger la parte fija, como //[contains(@class,'ui-component-')].
3. Problemas de coincidencia múltiple: se recomienda utilizar herramientas de desarrollo para verificar que XPath no coincida con más de un elemento.
Tutorial práctico de configuración
Tomemos como ejemplo el agente Python + ipipgo:
importar peticiones
from lxml import html
proxies = {
http: http://用户名:密码@gateway.ipipgo.com:9020, https: http://用户名:密码@gateway.ipipgo.com:9020
https: https://用户名:密码@gateway.ipipgo.com:9020
}
resp = requests.get('URL de destino', proxies=proxies)
tree = html.fromstring(resp.content)
Aquí está la clave ↓↓
precio = tree.xpath('//span[contains(@class, "simbolo-precio")]/hermano-siguiente::text()')[0]
Cinco preguntas que seguro se hará
P: ¿Qué debo hacer si el nombre de la clase cambia todos los días?
R: buscar el desarrollo de la ley, realmente no puede ir en ipipgo'sServicio proxy de renderizado JSpuede gestionar contenidos cargados dinámicamente
P: ¿Cómo puedo dividir la coincidencia en más de un elemento?
R: Añada capas de posicionamiento, por ejemplo, busque primero las características fijas del div exterior y luego vaya hacia el interior.
P: ¿Por qué los proxies de ipipgo no se bloquean fácilmente?
¡R: Su familia utiliza un grupo de IP residencial real, cada IP tiene características reales de comportamiento de los usuarios, más fiable que la IP de la sala de servidores no es un poco más de medio punto!
P: ¿Qué debo hacer si XPath es ineficaz?
R: Combinado con el uso de selectores CSS, la función key position y then contains, ipipgo'sProxy exclusivo de alta velocidadTambién es un obstáculo para la velocidad.
P: ¿Qué debo hacer si encuentro un CAPTCHA?
R: El proxy IP de ipipgo viene con una función de gestión de cookies, con la aleatorización del encabezado de la solicitud, que puede reducir significativamente la tasa de activación de CAPTCHA.
¿Por qué recomienda ipipgo?
Los datos de prueba reales hablan: comparar tres proveedores de servicios proxy, utilizando el mismo script XPath para rastrear los datos de una plataforma
| proveedor de servicios | porcentaje de éxito | tasa de bloqueo |
|---|---|---|
| ipipgo | 95% | 2% |
| Empresa A | 78% | 15% |
| Empresa B | 82% | 22% |
Mención especial a su familia.función de lista blanca de nombres de clasePuede preestablecer reglas comunes de nombres de clase para adaptarse automáticamente a diferentes estructuras de sitios web, lo que es único entre productos similares.
Español 
简体中文 
English 
Deutsch 
Français