Selenium Waiting for Pages to Load: Configuración de espera de Selenium

No deje que Selenium se convierta en Flash: ¿qué importancia tiene el mecanismo de espera?

Los amigos que han utilizado Selenium saben que esta herramienta es como un agudo, a menudo en la página no se carga cuando la prisa para realizar operaciones. En este momento, si el proxy ip no está bien coordinado, la luz no puede localizar el elemento, o pesado directamente provocada por el mecanismo anti-escalada sitio. Hacemos la automatización es el más miedo de encontrarse con la situación: script que se ejecuta de repente atascado, dar la vuelta y mirar hacia atrás para ver el original es un elemento de la carga de un ritmo lento.

Para dar una castaña, se utiliza ipipgo agente residencial dinámico para visitar un sitio de comercio electrónico, si no se establece el tiempo de espera, la secuencia de comandos puede estar en la imagen de los productos básicos aún no se ha cargado cuando se hace clic en el botón de compra. En este momento no sólo la operación falló, sino también debido al tráfico anormal por el sitio para tirar de la ip negro. así ah.El mecanismo de espera es el lubricante entre el script y el proxy ip.Hay que templarlo.

Tres consejos para los ajustes en espera - Ajuste práctico de parámetros

Empecemos por lo menos complicadoesperar implícitamenteEs como poner una hoja de cálculo en un guión:

driver.implicitly_wait(10) espera hasta 10 segundos

Esto es adecuado para usar con el proxy de corta duración de ipipgo, especialmente en escenarios que requieren cambios frecuentes de ip. Pero tenga cuidado, la espera global puede ralentizar la velocidad general, al igual que el uso de una red de pesca para pescar, una red hacia abajo siempre tienen que esperar el tiempo suficiente.

Más inteligente.espera explícitaPodemos especificar qué elementos esperar:

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By

wait = WebDriverWait(driver, 15)
element = wait.until(lambda x: x.find_element(By.ID, "login-btn"))

En este momento, si usa el proxy estatico de larga duracion de ipipgo, puede extender apropiadamente el tiempo de espera. Después de todo, la velocidad de acceso ip fija es más estable, no siempre se preocupe por la desconexión repentina.

La "combinación de oro" de ip proxy y tiempo de espera.

He aquí un consejo práctico:Ajuste de las políticas de espera en función del tipo de agente. los agentes de ipipgo se dividen en tres categorías:

Aquí viene el punto:Al configurar el proxy, hay que tener en cuenta la política de espera. Por ejemplo, recuerde restablecer el tiempo de espera cuando obtenga una nueva ip con la API de ipipgo:

 Obtener la nueva ip (usando el ejemplo de la API de ipipgo aquí)
proxy = requests.get("https://api.ipipgo.com/getproxy?user=xxx&key=xxx").json()

 Establecer el proxy al crear la instancia del navegador
options = webdriver.ChromeOptions()
options.add_argument(f'--proxy-servidor=http://{proxy["ip"]}:{proxy["puerto"]}')

 Establecer el tiempo de espera en función del tipo de proxy
si proxy['tipo'] == 'residencial'.
    driver.implicitly_wait(12)
else: driver.implicitly_wait(12): driver.implicitly_wait(12)
    driver.implicitly_wait(8)

Preguntas frecuentes QA - ¿Qué debo hacer si encuentro un pozo?

P: ¿Por qué se sigue informando de que se ha agotado el tiempo de espera aunque esté configurado para esperar?
R: El 80% de las ip proxy son reconocidas por la web de destino. Se recomienda cambiar el tipo de proxy en la consola de ipipgo, elegir la ip con modo high stash, y al mismo tiempo estirar el tiempo de espera explicito a mas de 20 segundos.

P：¿Qué debo hacer si la carga de la página es rápida o lenta después de usar un proxy?
R: En este caso, se recomienda mezclar los dos métodos de espera. Primero, utilice la espera implícita para cubrir el fondo, y después añada la espera explícita para las operaciones críticas. Recuerde seleccionar la función "ruta inteligente" en segundo plano de ipipgo, el sistema asignará automáticamente el nodo más rápido.

P: ¿Cómo optimizar el tiempo de espera cuando tengo que gestionar varios proxy ip al mismo tiempo?
R: Puede hacer un pool de proxy para categorizar y almacenar diferentes tipos de ip de ipipgo. Etiquete cada ip con un tiempo de respuesta, y ajuste dinámicamente el tiempo de espera según los datos históricos al llamar.

Por último, una buena estrategia de espera es como una póliza de seguro para sus scripts. Combinada con el servicio de proxy estable de ipipgo, puede mantener tus scripts de automatización menos propensos a ser baneados y funcionando eficientemente. Después de todo, en la constante batalla de recolección de datosFirme como ella va..