Selenium Crawler: Captura automatizada del navegador

Poner un manto sobre Selenio.

Participó en la recopilación de datos saben que el uso de Selenio navegador automatizado es como conducir un tanque en la calle - el movimiento de grandes y fáciles de ser observado. En este momento, el proxy IP es los mejores accesorios de camuflaje, especialmente como ipipgo este servicio profesional, puede dejar que su rastreador en un "mil caras", cada vez que visita una identidad diferente.

¿Por qué tengo que utilizar una IP proxy?

Por ejemplo, si utilizas continuamente tu propia red para acceder a un determinado sitio web, es como si intentaras comer 20 veces seguidas en un supermercado sin comprar, seguramente vendrán los guardias de seguridad a echar a la gente. El conjunto de IP proxy de ipipgo equivale a prepararte numerosos chalecos para intentar comer, y cada vez que te cambies de chaleco para intentar comer, el tendero ni siquiera te reconocerá.

Tres grandes escenarios para los agentes de uso obligatorio:

• Cuando hay que recopilar continuamente más de 100 páginas de datos
• Los sitios objetivo tienen estrictas restricciones de frecuencia de acceso
• Captar el contenido geográfico (por ejemplo, precios en distintas ciudades)

Configuración práctica de agentes

Con Python + Selenium para participar en la configuración del proxy es realmente muy simple, la clave es elegir el tipo correcto de proxy. Aquí se recomienda el uso de proxy exclusivo de ipipgo, la estabilidad de ninguna duda, que los proxy libre 100 veces más fiable.

from selenium import webdriver

proxy = "123.123.123.123:8888" dirección proxy proporcionada por ipipgo
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--proxy-server=http://{proxy}')

driver = webdriver.Chrome(options=opciones_cromo)
driver.get("http://目标网站.com")

Conmutación dinámica de IP

Si quieres una colección estable a largo plazo, debes aprender a cambiar dinámicamente la IP. La interfaz API de ipipgo puede acceder directamente al último proxy, aquí te enseñamos un truco: cambia aleatoriamente la IP cada vez que visites una nueva página, como una guerra de guerrillas.

importar peticiones
from selenium import webdriver

def get_ipipgo_proxy():
     Llama a la API de ipipgo para obtener el último proxy.
    api_url = "https://api.ipipgo.com/random"
    resp = requests.get(api_url)
    devolver resp.text

 Actualizar el proxy antes de cada visita
for page in range(1, 101): nuevo_proxy = get_ipgo_proxy()
    nuevo_proxy = get_ipipgo_proxy()
    chrome_options = webdriver.ChromeOptions()
    chrome_options.add_argument(f'--proxy-server=http://{new_proxy}')
    driver = webdriver.Chrome(options=opciones_chrome)
    driver.get(f "http://目标网站.com/page/{page}")
     Operación de recogida de datos...
    driver.quit()

Guía para evitar el pozo

Tres errores comunes de los novatos:

Preguntas frecuentes QA

P: ¿Qué debo hacer si el agente falla de repente?
R: Se recomienda utilizar el paquete de cambio inteligente de ipipgo, que cambiará automáticamente a una nueva cuando encuentre IPs inválidas, y le ahorrará la molestia de lidiar con ello por su cuenta.

P: ¿Cómo puedo comprobar si el agente es eficaz?
R: Empiece probando con un lote pequeño, como éste:

driver.get("http://httpbin.org/ip")
print(driver.page_source) para ver si la IP devuelta es correcta.

P: ¿Y si necesito recopilar sitios web extranjeros?
R: ipipgo tiene nodos globales para elegir, recuerda elegir la región correspondiente del agente en la línea, ¡pero no lo uses para hacer cosas ilegales!

Recomendaciones finales

En lugar de molestarse con proxies gratuitos, ¿por qué no utilizar el servicio profesional de ipipgo? Sus proxies residenciales son especialmente adecuados para escenarios que requieren un alto anonimato, y los nuevos usuarios tienen créditos de prueba, así que ¿no huele bien putear antes de decidirse? Recuerda, una IP proxy estable es el alma de la adquisición automatizada, no ahorres tu presupuesto en esto.