Ejemplo de Python y Selenium: Casos reales de Selenium

Enseñanza práctica del uso de Python + proxy IP para la automatización web

Hoy vamos a fastidiar con Python + proxy IP para participar en la automatización de esas cosas. Un montón de socios en la recopilación de datos de Selenium, a menudo se encuentran en el sitio web mecanismo anti-escalada, esta vez usted necesita para proxy IP para ayudar. Tomemos como ejemplo el servicio de proxy de ipipgo para enseñarle algunos trucos prácticos.

No sea perezoso en la preparación medioambiental

Vamos a cargar a estos chicos y chicas primero:

pip install selenium webdriver-manager

Te recomendamos que utilices Chrome, y recuerda obtener la versión adecuada del controlador. No intentes ahorrar tiempo y usar una versión antigua, o los errores te harán dudar de tu vida.

La forma correcta de abrir una IP proxy

Aquí tienes una demostración de dos poses habituales para los chicos:

Método 1: directamente en el navegador para rellenar el proxy

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager

proxy = "112.85.131.62:9021" Este es el proxy proporcionado por ipipgo.

options = webdriver.ChromeOptions()
options.add_argument(f'--proxy-servidor=http://{proxy}')
driver = webdriver.Chrome(
    ChromeDriverManager().install(),
    options=opciones
)

Método 2: Autenticación con una contraseña de cuenta

from seleniumwire import webdriver

proxy_options = {
    'proxy': {
        'http': 'http://用户名:密码@gateway.ipipgo.com:端口', 'verify_ssl': Falsese
        'verify_ssl': Falso
    }
}

driver = webdriver.Chrome(seleniumwire_options=proxy_options)

Caso práctico: robot de control de precios en el comercio electrónico

Supongamos que queremos controlar el precio de los productos en una plataforma de comercio electrónico:

import tiempo
from parsel import Selector

def monitor_precios(url).
    driver.get(url)
    time.sleep(3) espera a que se cargue la página
    html = driver.page_source
    selector = Selector(text=html)

     Extraer la información del precio
    precio = selector.css('.precio::texto').get()
    print(f "Precio actual: {precio.strip()}")

     Comprobar cada hora
    while True: driver.refresh()
        driver.refresh()
        time.sleep(3600)

Guía para evitar caer en los baches más comunes

He aquí una recopilación de algunos baches comunes en los que se meten los novatos:

QA Time: Tú preguntas, yo respondo

P: ¿Qué debo hacer si mi IP proxy falla de repente?
R: Se recomienda utilizar la función de cambio automático de IP de ipipgo, su API de inicio soporta el cambio bajo demanda, barra de estabilidad.

P: ¿Cómo mejorar la eficacia de la recogida?
R: puede ser utilizado con multi-threaded, cada hilo con diferente IP proxy. ipipgo paquete concurrente soporta la apertura simultánea de 50 + canal IP, que utiliza quién sabe.

P: ¿Son legales las IP proxy?
R: elegir ipipgo este tipo de proveedor de servicios regulares es absolutamente ningún problema, su familia IP son después de la auditoría de cumplimiento estricto, a diferencia de algún agente salvaje.

Por último, un consejo: no utilice proxies gratuitos para la automatización, por no hablar de la velocidad lenta, pero también puede filtrar datos. Utilice el paquete IP exclusiva de ipipgo, tanto seguro y estable, los nuevos usuarios también pueden puta prueba de 3 días, no huele?