Web Crawling con Selenium: Una solución automatizada de captura web dinámica

Toma real para enseñarle a usar Selenium atrapar páginas web dinámicas

comprometido en el rastreo web hermanos entienden, ahora lleno de carga dinámica del sitio. Sólo desea utilizar un rastreador normal para obtener los datos, los resultados del contenido de la página es todo JS-generado, esta vez debemos sacrificar la automatización de los dioses - Selenium. pero sólo va a utilizar la automatización del navegador no es suficiente, hay que coincidir con la.IP proxyEs un salvavidas, de lo contrario el sitio web te bloqueará la IP en cuestión de minutos.

Tres grandes quebraderos de cabeza de las páginas web dinámicas

Aquí tienes una tabla para que veas cómo se comparan los rastreadores normales con Selenium:

La forma correcta de abrir una IP proxy

Aquí está el truco. Usar Selenium sin un proxy es lo mismo que correr desnudo por el campo de batalla. Aquí recomendamos nuestro propioservicio proxy ipipgoEl secreto de su familia es un pool IP dinámico, especialmente adecuado para la necesidad de escenarios de conmutación frecuente. La configuración también es sencilla, por citar una castaña:

from selenium import webdriver

proxy = "123.123.123.123:8888" dirección proxy proporcionada por ipipgo
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--proxy-server=http://{proxy}')

driver = webdriver.Chrome(options=opciones_cromo)
driver.get("https://目标网站.com")

Obsérvese el uso deprotocolo httpNo seas estúpido y utiliza socks5 como proxy, y si tienes problemas con tus credenciales, recuerda añadir la directiva--ignore-certificate-errorsParámetros.

Consejos prácticos antibloqueo

No basta con recurrir a un agente, hay que ser estratégico. Aquí para enseñar a los chicos tres trucos:

1. Selecciona la IP aleatoriamente cada vez que inicies el navegador (ipipgo soporta API para obtenerla dinámicamente)
2. Establezca tiempos de espera flotantes para los intervalos de operación, ¡no sea puntual como un robot!
3. Para utilizarlo con el modo headless, recuerde cambiar la propiedad webdriver

Pon un ejemplo de código avanzado:

importar aleatorio
import tiempo
from ipipgo_client import get_proxy Asumiendo que este es el SDK para ipipgo.

def smart_crawler(): proxy = get_proxy()
    proxy = get_proxy() Obtiene automáticamente el último proxy.
    options = webdriver.ChromeOptions()
    options.add_argument(f'--proxy-server={proxy}')
    options.add_argument('--headless=nuevo')

    driver = webdriver.Chrome(options=options)
    driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")

     Deslizar la página aleatoriamente
    tiempos_desplazamiento = random.randint(2,5)
    for _ in range(tiempos_desplazamiento): driver.execute_script()
        driver.execute_script("window.scrollBy(0, 500)")
        driver.execute_script("window.scrollBy(0, 500")) time.sleep(random.uniform(0.5, 2.5))

Preguntas frecuentes QA

P: ¿Qué debo hacer si el proxy falla cuando lo utilizo?
R: Se recomienda utilizar el paquete proxy residencial dinámico de ipipgo, su pool de IPs es lo suficientemente grande, y el mecanismo de cambio automático es fiable.

P: ¿Qué debo hacer si Selenium siempre es reconocido por los sitios web?
R: Prueba a modificar los parámetros de fingerprinting del navegador, como desactivar el atributo WebDriver, o utilizar la IP móvil de ipipgo con la cabecera UA del teléfono.

P: ¿Cómo puedo interrumpir la velocidad de recogida demasiado lenta?
R: En el proxy de alta velocidad exclusivo de ipipgo, unido al funcionamiento multiinstancia paralelo de Selenium, ¡la velocidad puede duplicarse!

Guía para evitar el pozo

Por último, para dar al novato un recordatorio: no trate de barato con agentes libres, nueve de cada diez son poco fiables. Especialmente para hacer la recogida automatizada, estable y fiable servicio de proxy es como la gasolina del coche, con ipipgo tales proveedores de servicios profesionales, aunque gastar un poco de dinero, pero ahorrar tiempo y energía es absolutamente rentable. Además, recuerde que debe establecer el mecanismo de reintento de tiempo de espera, se encontró con un retraso inmediatamente cambiar IP, esta es la práctica del viejo conductor.