Python Selenium Web Crawl: Guía para la captura dinámica de páginas

Cuando el rastreador se encuentra con carga dinámica, ¿cómo debe vivir la parte manual?

Es posible que te hayas encontrado con esta situación: al rastrear datos con peticiones, obviamente no hay nada en el código fuente de la página web, pero puedes ver los datos en el navegador. ¡Esto es carga dinámica en el demonio! Este es el momento de sacar nuestro modelo - Selenium, pero sólo saben cómo abrir el navegador no es suficiente, o se le bloqueado por la IP del sitio web, esta vez usted tiene que utilizar una IP proxy para salvar su vida.

from selenium import webdriver

proxy = "http://用户名:密码@gateway.ipipgo.com:9021"
options = webdriver.ChromeOptions()
options.add_argument(f'--proxy-server={proxy}')

 Recuerda poner el chromedriver en el mismo directorio que los scripts
driver = webdriver.Chrome(options=opciones)

He aquí un escollo con el que hay que tener cuidado:No introduzcas a mano tu nombre de usuario y contraseña., se recomienda guardarlo en un archivo de configuración. Al usar el proxy de ipipgo, su dominio gateway.ipipgo.com va seguido de un número de puerto diferente para cada usuario, no copies mi código directamente jaja.

Las tres reglas de supervivencia de la propiedad intelectual por poderes

La adquisición dinámica es como jugar al buscaminas, el proxy IP no sirve con un minuto para pisar la mina. Según los pozos en los que he estado, he resumido tres experiencias salvadoras:

① La rotación es mejor que la soltería

No atrapes una IP hasta la muerte, se recomienda cambiar la IP cada 5 páginas. La API de ipipgo puede extraer IPs en bloque, y es fácil de gestionar con una cola.

② Elige el nivel adecuado de anonimato

Se ha comprobado que la gran cantidad de proxies de ipipgo es capaz de evitar el anti-escalamiento de 90%, especialmente cuando se realiza la recopilación de datos de comercio electrónico transfronterizo, lo cual es particularmente útil.

③ Ajustar el tiempo de espera es un arte

No espere. Se recomienda establecer el tiempo de espera de carga en 15 segundos, junto con el tiempo de espera de conexión proxy en 20 segundos. Si usas la línea premium de ipipgo, 10 segundos es suficiente, su tiempo de respuesta es realmente rápido.

Problemas en el campo

Recientemente, he estado ayudando a un amigo con el control de precios en un sitio web de viajes, y se me han ocurrido dos consejos estupendos:

Invisibility Spree: Utiliza el modo headless + proxy IP double buff stack. Recuerde añadir el parámetro de inicio--headless=nuevoLa tasa de éxito se eleva al máximo con la IP Residencial Dinámica de ipipgo.

options.add_argument("--headless=nuevo")
options.add_argument("--disable-blink-features=AutomationControlled")

Confusión de huellas dactilares: Cambia el parámetro de huella del navegador, esto requiere que se cargue una extensión. Pero con el pool de IPs móviles de ipipgo, realmente no necesitas pasar por todo ese problema, naturalmente diferentes IPs de salida son el mejor disfraz.

Control de calidad de escenas de vuelco comunes

Q：¿Por qué no puedo abrir la página web cuando el proxy está abierto?
R: El noventa por ciento del problema es el certificado, en las opciones para añadir eloptions.add_argument('--ignore-certificate-errors')probar

P: ¿Qué debo hacer si utilizo un proxy y se carga con especial lentitud?
R: primero cambiar el nodo de la sala de máquinas de ipipgo, se recomienda elegir desde el sitio de destino cerca. Por ejemplo, para subir el sitio web japonés, utilice su línea de sala de máquinas de Osaka.

P: ¿Qué debo hacer si me encuentro con una verificación humana?
R: IP proxy residencial + movimiento del ratón analógica de dos puntas. Pero lo mejor es controlar la frecuencia de recogida, no cabrear al sitio.

Di algo desde el corazón.

Después de tantos años de recopilación de datos, la mayor lección aprendida está en ocho palabras:disponer de las herramientas y los recursos adecuadosSelenium es realmente potente, pero sin el apoyo de un proxy IP fiable es como tener las armas desnudas. He utilizado un montón de servicios de proxy, y he terminado usando ipipgo durante mucho tiempo debido principalmente a dos cosas: en primer lugar, su grupo de IP se actualiza rápidamente, y en segundo lugar, la respuesta de soporte técnico es oportuna, y de hecho hay personas que vuelven a la orden de trabajo a las tres de la noche....

Una nota final para los novatos: no te quedes mirando el código.La calidad de la IP proxy afecta directamente a la tasa de éxitoLa primera es utilizar el paquete de ipipgo para practicar. Al principio se recomienda utilizar el paquete de volumen de ipipgo, primero obtener 500 IP de práctica, y así sucesivamente para averiguar las leyes anti-escalada del sitio de destino y luego en el volumen. Después de todo, el coste del tiempo ahorrado puede valer mucho más que la tarifa de la agencia.