Confrontación de renderizado dinámico: optimización de las operaciones automatizadas de Selenium

I. ¿Qué tiene de malo el juego del gato y el ratón del renderizado dinámico?

Hoy en día, muchos sitios web han aprendido por las malas y se protegen específicamente contra las herramientas de automatización. Pasarán elDetección del comportamiento de carga de la páginayAnálisis de huellas de ratónEstos trucos para sacar a los usuarios que utilizan Selenium para participar en la automatización. Hace dos días, un amigo que hace el comercio electrónico me dijo que utilizan secuencias de comandos para agarrar los bienes, el resultado es que sólo dos días después de la ejecución de la cuenta fue bloqueada, enojado directamente a los pies.

Es entonces cuando llega el momento de utilizar una IP proxy como tapadera. Es como decir que no puedes llevar la misma máscara todos los días cuando vas a una fiesta de disfraces, ¿verdad?IP residencial dinámica para ipipgoEs como un actor de la Ópera de Sichuan que cambia de rostro y pone una cara nueva cada vez que nos visita. Combinado con la operación automatizada de Selenium, puede hacer que el sitio web piense que es operado por una persona diferente cada vez, y la probabilidad de bloqueo se reduce directamente a la mitad.

Segundo, ¿dónde están las siete pulgadas de desgaste de Selenio?

Muchos novatos tienden a caer en estos baches:

• La huella digital del navegador es demasiado limpia (¿quién en su sano juicio no tiene plug-ins?)
• La dirección IP sigue siendo la misma durante años (no es diferente de gritar "soy un robot" por un megáfono).
• La velocidad de carga de la página es antihumana (quién en su sano juicio miraría toda la página en 0,1 segundos)

Tome la velocidad de carga, recuerde dejar un poco para la páginarespiradero. No uses el rígido time.sleep(3), sustitúyelo por WebDriverWait con expected_conditions, es como esperar a que tu novia se maquille - sabes que saldrá tarde o temprano, pero cuánto tiempo depende de la situación real.

En tercer lugar, la postura correcta de apertura del proxy IP

He aquí una lección de lágrimas: una empresa con un proxy gratuito para hacer rastreadores, los resultados de 10 IP 8 están en la lista negra regulares. Más tarde cambióIP Pool exclusivo para ipipgoLa tasa de éxito se dispara directamente de 301 TP3T a 851 TP3T. hay que prestar especial atención a la hora de configurar el proxy:

ChromeOptions escrito correctamente:

options = webdriver.ChromeOptions()
options.add_argument('--proxy-servidor=http://user:pass@ipipgo-proxy:puerto')

Nunca escribas las contraseñas de las cuentas explícitamente en el código y escóndelas con variables de entorno. Si un hacker la coge, es como meter la llave de casa en la cerradura.

IV. Hacer que Selenio se parezca más al Gran Vivo

Con estos pocos detalles bien hechos, la tasa de detección puede bajar otro 20%:

Recuerda añadir un poco al ratón.error humanoNo camines siempre en línea recta. Es como cuando coges un cacahuete con palillos, siempre tienes que sacudirlo dos veces para cogerlo.

V. Botiquín práctico de garantía de calidad

P：¿Qué debo hacer si siempre aparece el mensaje "Herramienta de automatización detectada"?
R: Compruebe primero estos tres puntos: 1. si la huella digital del navegador está expuesta 2. si la IP está etiquetada 3. si el intervalo de operación es demasiado regular. Se recomienda utilizar la herramienta de ipipgoPaquete de anonimato profundo, viene con camuflaje de entorno de navegador.

P: ¿Cambió obviamente de IP o sigue bloqueado?
R: Puede ser una fuga de cookies. Recuerda borrar la caché cada vez que cambies de IP, o pasa directamente al modo sin rastro. Igual que cambias de ropa para diferentes ocasiones, no puedes ir a una cena en pijama.

P: ¿Con qué frecuencia conviene cambiar la IP de ipipgo?
R: Depende del escenario de negocio: la clase robocall se recomienda cambiar cada operación, la recogida de datos se puede cambiar una vez en 5-10 minutos. Su fondo puede establecer la frecuencia de cambio automático, mucho más preocupante que la operación manual.

Involucrarse en la automatización es como jugar al escondite, no sólo para ocultar bien, sino también para ser adaptable. Usar Selenium + ipipgo este par de compañeros de oro, un montón de sitios web con medidas anti-escalada como un tigre de papel. Recuerde que no debe ser barato con proxy de mala calidad, ahorrar dinero no es suficiente para comprar una nueva cuenta, usted dice que no es este derecho?