Espera de elementos en Selenio: Espera de elementos en Selenio

En primer lugar, ¿por qué su rastreador siempre es expulsado del sitio?

Hacemos colegas de recopilación de datos deben haber encontrado con esta situación: la secuencia de comandos funciona bien, de repente informó de que el elemento no se puede encontrar el error. En este momento, no se apresure a maldecir, el ochenta por ciento es el problema de la velocidad de carga de la página. Algunos sitios de carga de imágenes o contenido dinámico tarda dos o tres segundos, el guión es como un lobo hambriento abalanzándose sobre él, no puede chocar?

He aquí un truco para todos - utilizar proxy IP con el mecanismo de espera. Por ejemplo, con el proxy residencial de ipipgo, cada vez que visite la dirección IP del usuario real se cambia, el sistema anti-escalada del sitio web no será fácil de detectar. Unido a la función de espera de Selenium, es como dotar a un script de un "freno inteligente" para ver los elementos cargados antes de hacerlo.

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support.import condiciones_esperadas as CE

 Configuración del proxy ipipgo
proxy = "ipipgo.com:8000"
chrome_options.add_argument(f'--proxy-server=http://{proxy}')

 Ejemplo de espera explícita
element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.ID, "target-element"))
)

En segundo lugar, ¿cuántos de los tres puestos de espera conoce?

El error más común que cometen los novatos es utilizar time.sleep(), que no es diferente de cruzar la calle con los ojos vendados. Tenemos que aprender los tres métodos adecuados:

 1. Hard wait (no recomendado)
time.sleep(5)

 2. espera implícita (configuración global)
driver.implicitly_wait(10)

 3. esperar explícitamente (golpe preciso)
WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.CLASS_NAME,'btn'))))

Centrándose en la espera explícita, este producto puede mantener un ojo en los cambios de estado de elementos específicos. Con ipipgo uso de IP dinámica mejor, como el seguimiento de los cambios de precios del sitio de comercio electrónico, cada solicitud de una IP diferente, no sólo para evitar ser bloqueado, sino también para capturar las actualizaciones de datos oportunas.

En tercer lugar, ¿cómo se combinan las IP proxy y los mecanismos de espera?

He aquí un escenario práctico: la necesidad de recoger el precio de los bienes en diferentes regiones. Con el método ordinario es fácil ser identificado como un rastreador, esta vez es el momento de ofrecer ipipgo'sagente de geolocalizaciónArriba.

 Rotación de IPs de diferentes localizaciones
ubicaciones = ['us', 'jp', 'de']
para loc en ubicaciones.
    proxy = f "ipipgo.com/{loc}:8000"
    chrome_options.add_argument(f'--proxy-server=http://{proxy}')

     Espera inteligente de los elementos de la página
    try.
        price = WebDriverWait(driver, 15).until(
            EC.visibility_of_element_located((By.XPATH, "//span[@class='precio']"))
        )
        print(f"{loc} precio regional: {precio.texto}")
    except TimeoutException.
        print("Tiempo de espera de carga, cambio automático al siguiente nodo")
        continuar

Lo bueno de esta combinación es que cuando se restringe una IP, el mecanismo de espera agota automáticamente el tiempo de espera y pasa a la IP de la siguiente región para continuar la tarea, y todo el proceso funciona.

IV. Pautas de primeros auxilios para situaciones habituales de vuelco

P1: ¿No encuentro un elemento a pesar de que existe?
R: El 80% de ellos utilizan el modo oculto o la IP proxy identificada por el sitio web. Se recomienda utilizar el proxy de alto anonimato de ipipgo en su lugar. Su pool de IPs se actualiza con más de 2 millones de IPs residenciales cada día, y el efecto de camuflaje es más realista.

P2: ¿Cuál es el tiempo de espera adecuado?
R: Esto depende de la velocidad de respuesta del sitio web. Se recomienda usar la herramienta de medición de velocidad de ipipgo para escoger nodos con baja latencia, usualmente establecer 10-15 segundos es suficiente. No establezca un tiempo de espera demasiado corto, o frecuente; tampoco demasiado largo, afectando la eficiencia.

P3: ¿Cómo detectar los contenidos cargados dinámicamente?
R: Prueba una combinación de espera rodante:

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.CSS_SELECTOR, ".lazy-load"))
)

V. No pise estos baches

1. No envíe peticiones continuamente sobre la misma IP, utilice la función de rotación automática de ipipgo, y configure la IP para que cambie cada 5-10 peticiones.
2. No te resistas cuando encuentres el CAPTCHA, cambia a una nueva IP proxy residencial a tiempo.
3. Recuerde utilizar ipipgo para artículos importantesgrupo exclusivo de IPEvita compartir IPs con otros usuarios, lo que puede llevar a un baneo.

Por último dar un consejo: la velocidad de carga de la página de este asunto, siete puntos por la estrategia de espera, tres puntos por la calidad del agente. Elegir la herramienta adecuada es muy importante, como ipipgo este tipo de proveedor de servicios especializado en agentes de alta calidad, puede ayudarte a ahorrar mucho tiempo. Su servicio técnico de atención al cliente también es bastante fiable, la última vez que me encontré con problemas en mitad de la noche realmente hay gente de guardia, este punto realmente quiero.