Python Selenium等待页面加载: 智能设置

Cuando el crawler se encuentra con la velocidad de carga de la tortuga, ¿cómo guardar la IP del proxy?

Do hermanos rastreo debe haber experimentado estos momentos locos: código para ejecutar, los resultados se han quedado atascados en una página determinada no se carga. En este momento, si el proxy IP no es potente, un minuto puede hacer que la gente aplastar el teclado. Hoy no todo falso, directamente sobre los productos secos para decir cómo utilizar Python + Selenium con proxy IP para jugar inteligente espera.

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType

 configuración del proxy ipipgo (recuerda cambiar a tu propia cuenta)
proxy_ip = "123.123.123.123:8888"
proxy = Proxy({
    'proxyType': ProxyType.MANUAL,
    'httpProxy': proxy_ip,
    'sslProxy': proxy_ip
})

options = webdriver.ChromeOptions()
options.add_argument("--proxy-server=http://{}".format(proxy_ip))

Guía práctica de los tres tipos de espera

No subestimes a estos tres hermanos, úsalos mal y arrolla:

1. la facción que espera la muerte(time.sleep): simple y tosco pero fácil de volcar, adecuado para su uso con la detección de proxy. Por ejemplo, si el proxy de ipipgo está en efecto, espera 3 segundos para garantizar la seguridad.

2. explícito, etc.(WebDriverWait): Se recomienda utilizar con rotación de IP proxy, y cortar IP directamente después de más de 10 segundos.

3. implícito et al.(implicitly_wait): los novatos son propensos a pisar baches, ¡utilízalo con precaución cuando la red sea inestable!

Tecnología Smart Waiting Black

¿Has probado alguna vez a ajustar automáticamente el tiempo de espera al cambiar de IP proxy? Por ejemplo, cuando usas el Proxy Residencial Dinámico de ipipgo, puedes jugar con ello:

def smart_wait(driver, element_id).
    intentar.
         Inicialmente espera 8 segundos
        WebDriverWait(driver, 8).until(
            EC.presence_of_element_located((By.ID, element_id))
        )
    excepto.
         Tiempo de espera para cambiar automáticamente la IP de ipipgo
        driver.proxy = get_new_ipipgo_proxy()
         Extender la espera a 15 segundos
        WebDriverWait(driver, 15).until(
            EC.presence_of_element_located((By.ID, element_id))
        )

Control de calidad de escenas de vuelco comunes

P: ¿Qué debo hacer si utilizo una IP proxy para cargar más lentamente?
R: el ochenta por ciento de la calidad de la IP no es buena, se recomienda cambiar ipipgo proxy exclusivo. ¡Antes de un amigo en el sitio de comercio electrónico para agarrar los datos, después de cambiar la velocidad de carga ipipgo IP directamente tres veces más rápido!

P: ¿Cómo puedo saber si se trata de un problema con la IP antirreclamación o proxy del sitio?
R: Primero apague el proxy para ejecutar una vez, si es normal es el problema de IP. ¡Recuerde que debe utilizar IP de facturación por volumen de ipipgo, después de la prueba y luego comprar a granel sin desperdicio!

P: ¿Qué puedo hacer si la página se bloquea a mitad de carga?
R: ¡Intenta una combinación! Explicit wait + proxy IP auto-switching, añade un try-except en el código, ¡el timeout cambiará la nueva IP de ipipgo y reintenta!

Un doble seguro para el código

Por último, te enseñaré un truco para utilizar la detección de IP proxy y las estrategias de espera como un paquete:

def safe_get(url): max_retry = 3
    max_reint = 3
    for _ in range(max_retry):: _ in range(max_retry).
        try: driver.get(url).
            driver.get(url)
             Espera del contenido principal
            WebDriverWait(driver, 15).until(
                EC.presence_of_element_located((By.TAG_NAME, 'main'))
            )
            return True
        excepto.
             Cambiar automáticamente la IP de ipipgo
            rotar_ipipgo_proxy()
    raise Exception("Error al cargar 3 veces seguidas, compruebe la configuración del proxy")

Recuerde, un buen caballo con una buena montura y una IP proxy estable es la raíz de una espera inteligente. Al utilizar el servicio proxy de ipipgo, se recomienda habilitar suControles sanitarios automatizadosCon esta característica, el sistema expulsará automáticamente las IPs inestables, haciendo que tu estrategia de espera funcione de verdad. No te tortures más con esos proxies gratuitos, ¡unas IPs proxy fiables pueden mejorar la precisión de tu ajuste del tiempo de espera en al menos 60%!