Web Crawling con Selenium: Tutoriales de Automatización de Navegadores

Enseñar a utilizar Selenium para capturar páginas web, proxy IP para que el juego sea estable

Recientemente, un hermano siempre me preguntó, utilizando Selenium para participar en los datos siempre se bloquea IP ¿cómo lidiar con? Hoy vamos a fastidiar sobre este asunto. En primer lugar, seamos honestos, ahora el sitio es muy inteligente, se toma una IP local repetidamente cepillo, no bloquear a bloquear quién? Esta vez tenemos que invitar a nuestro salvador - proxy IP.

¿Por qué tengo que utilizar una IP proxy?

Por ejemplo, si vas todos los días al mismo quiosco a comprar cigarrillos, el jefe debe acordarse de ti al tercer día, ¿no? Proxy IP es como cambiar de ropa todos los días para comprar cigarrillos, el jefe simplemente no reconocen. Especialmente con Selenio este tipo de funcionamiento del navegador real, con IP dinámica, el sitio es, básicamente, no hay manera.

Voy a tener que presentarte esto.ipipgoLa reserva de PI es tan grande como el Océano Pacífico, con más de 300 regiones de todo el mundo entre las que elegir. Lo más importante esIP dedicada no duplicadaLo he utilizado con especial tranquilidad, y he probado mi propio proyecto durante 72 horas de funcionamiento continuo sin ningún problema.

Proxy de configuración de Selenium en tres pasos

from selenium import webdriver

proxy = "123.123.123.123:8888" dirección proxy proporcionada por ipipgo
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--proxy-server=http://{proxy}')

 Recuerda sustituirla por la contraseña de tu cuenta ipipgo.
chrome_options.add_argument('--proxy-auth=nombre_usuario:contraseña')

driver = webdriver.Chrome(options=opciones_cromo)
driver.get("http://example.com")

Tenga en cuenta que aquí hay dos baches:
1. ¡No uses proxies gratuitos! Por no hablar de la velocidad lenta, 90% son todos IPs sobrantes utilizados por otros.
2. Información sobre la acreditaciónNo te equivoques.Si dispone de un generador de claves en el backend de ipipgo, le recomendamos que lo copie y pegue directamente.

Técnicas prácticas antibloqueo

No basta con tener un agente, hay que aprender las combinaciones:

Preguntas frecuentes QA

P: ¿Qué debo hacer si la IP del proxy se invalida después de utilizarlo?
R: Esta situación es el ochenta por ciento de la utilización de la piscina proxy público, se recomienda cambiar a ipipgoPaquete IP exclusivoLa dirección IP de cada IP con autenticación independiente, la estabilidad se tira directamente completa.

P: ¿Se ejecuta el código y aparece un error de certificado?
R: Prueba a añadir este parámetro a las opciones:
chrome_options.add_argument('--ignore-certificate-errors')

P: ¿Cómo puedo saber si un poder está en vigor?
R: Visitashttp://ipipgo.pro/checkipEsta página, se puede ver el uso actual de la IP de exportación, pro-prueba efectiva.

Juego mejorado: estrategias de cambio inteligentes

Compartiendo una configuración de alto nivel para los chicos, utilizando la API de ipipgo para el cambio automático de IP:

solicitudes de importación

def refresh_proxy(): resp = requests.get("")
    resp = requests.get("https://api.ipipgo.pro/getproxy")
    return resp.json()['proxy']

 Cambiar automáticamente la dirección IP cada 20 capturas de página
if count % 20 == 0.
    driver.quit()
    proxy_actual = refresh_proxy()
     Reinicia el navegador...

La clave está en elegir el proveedor de servicios proxy adecuado. He utilizado siete u ocho proveedores, pero al final, sigue siendoipipgoEl más fiable, con un tiempo de respuesta de básicamente 200 ms o menos y una tasa de caídas inferior a 0,1%.

Por último, el proxy IP no es una panacea, con una frecuencia de solicitud razonable y la estrategia de resolución de página. Qué problemas específicos son bienvenidos a ipipgo sitio web oficial para encontrar el servicio de atención al cliente técnico persistente, que están en línea 24 horas al día, más profesional que yo este camino salvaje.