¿Selenium siempre se bloquea para obtener datos? Pruebe este truco que le salvará la vida
Hermanos dedicados a las pruebas de automatización debe saber, el uso de Selenium para capturar los datos más miedo de qué? ¡Sólo tiene que ejecutar un par de veces cuando el sitio de destino bloqueado la IP! Esta vez tenemos que salir de nuestra arma salvavidas - proxy IP, como jugar un juego para abrir un pequeño número, un número fue bloqueado inmediatamente cambió a un nuevo número para seguir haciendo.
¿Cómo renueva exactamente la vida de Selenium una IP proxy?
En pocas palabras, es una forma de ponerle un "chaleco" a tu navegador y cambiar tu identidad de red cada vez que lo visitas. He aquí lo más destacado de nuestro propio productoIP Pool exclusivo para ipipgoLa prueba real ha sido un solo día para cambiar 500 + IP no se caiga de la línea. La operación específica se divide en tres pasos:
1. Instale el SDK de ipipgo.
pip install ipipgo-selenium
2. Configurar los parámetros del agente
| parámetros | valor de ejemplo |
|---|---|
| CLAVE_API | Su propia llave |
| Tipo IP | Residencial/Sala de máquinas |
| duración de la sesión | Recomendado 5-10 minutos |
3. Iniciar un navegador con un proxy
from ipipgo_selenium import WebDriver
driver = WebDriver().chrome(proxy_mode='smart')
Evite estos baches y consiga datos estables como un perro viejo
He visto a demasiada gente ser bloqueada a pesar de que claramente han utilizado proxies, y la mayoría de ellos están plantados en estos lugares:
① Cambio de IP demasiado frecuente → El sitio web encontró 3 cambios de IP en 1 segundo, ¡los tontos saben que hay un problema!
② Aglomeración de IP en la sala de servidores → todos los segmentos IP de AWS/GCP, reconocidos en minutos.
(iii) Olvidé borrar las huellas de mi navegador.
→ Aunque cambies tu dirección IP, el sitio web te reconocerá por tus huellas dactilares de lona. Recientemente ayudé a un amigo a conseguir un script de comparación de precios con ipipgo'sIP residencial dinámica+ UA aleatorio que corrió durante 72 horas seguidas sin voltear. La configuración clave se parece a esto: P: ¿Es correcto utilizar un proxy gratuito? P: ¿Qué debo hacer si me encuentro con una verificación humana? P: ¿Por qué recomienda ipipgo? Por último, la recopilación de datos se trata de unfig. economía te llevará muy lejos. No sea codicioso de rápido, controlar la frecuencia de solicitud dentro del rango de operación humana normal, con servicio de IP proxy de calidad, este es el camino a la última. ¡Sólo en el pozo se recomienda utilizar el modo de programación inteligente de ipipgo primero, el sistema coincidirá automáticamente con la mejor estrategia de IP, salvar su corazón!Competencias prácticas: caso de seguimiento de precios en el comercio electrónico
driver = WebDriver().firefox(
proxy_region='us', especificar IP de EE.UU.
ua_type='mobile', UA móvil
headless=True el modo headless es más sigiloso
)
sesión de preguntas y respuestas
¡R: Hermano, libre es el más caro! Esas piscinas proxy públicas han sido durante mucho tiempo los reptiles juegan mal, con ipipgo exclusiva piscina IP es fiable, los nuevos usuarios de tráfico gratuito 1G para probarlo.
R: Esto tiene que coincidir con la calidad de la IP, con el alto alijo de IP de ipipgo puede reducir la probabilidad de verificación 80%. Si realmente se encuentra con CAPTCHA, se recomienda reducir la frecuencia de recogida adecuadamente.
R: ¡Por supuesto que nuestros propios productos deben ser volados! La prueba real concurrente 200 hilos, otras familias de IP tasa de supervivencia de menos de 60%, ipipgo puede mantener más de 95%, y laModelo de facturación por solicitud único en todo el paísPuede utilizar la cantidad que desee sin desperdiciarla.
Español 
简体中文 
English 
Deutsch 
Français