Solicitudes curl con cabeceras: Ejemplo de configuración antidetección

Manos a la obra con rizo para ocultar los pies del caballo

El hierro viejo dedicado a las solicitudes de red saben que ahora el sitio mecanismo anti-escalada es cada vez más refinado. Proxy IP no es suficiente, es necesario solicitar la cabeza de toda la operación como una persona real. Hoy tomamos el comando curl más común para empezar, decir cómo configurar el sitio de destino no puede reconocer como una máquina.

¿Por qué lo ha desechado el solicitante?

Muchos novatos piensan que colgar una IP proxy está bien, de hecho, laHay muchos agujeros en la cabecera de la petición.. Dame una castaña:

rizo http://example.com

Esta petición por defecto expondrá tu versión de curl, los webmasters verán esta cabecera de características y bloquearán tu IP en minutos, todo lo que tenemos que hacer es cambiar la cabecera de petición para que sea exactamente la misma que la del navegador.

Plantillas de configuración del mundo real

Aquí tienes una configuración que funcionó en la vida real (recuerda cambiar el proxy por el tuyo):

curl -x http://username:password@gateway.ipipgo.net:9020
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, como Gecko) Chrome/114.0.0.0 Safari/537.36"
-H "Accept-Language: zh-CN,zh;q=0.9"
-H "Referer: https://www.google.com/"
-H "Sec-Fetch-Dest: document" -H "Sec-Fetch-Dest: document" -H "Sec-Fetch-Dest: document"
https://target-site.com

Algunos puntos clave:

Fácil de pisar

1. Usuario-Agente expiradoNo utilice una versión antigua del navegador UA, se recomienda actualizar el número de versión una vez al mes.
2. Conflictos de parámetros lingüísticos: Accept-Language sin en, a menos que quiera visitar un sitio en inglés.
3. Inestabilidad de los agentesRecomendado para usar el proxy exclusivo de ipipgo, la tasa de fallo real puede ser presionada a 0.3% o menos.

Tiempo de control de calidad

P: ¿Todavía tengo que cambiar la cabecera de la solicitud para utilizar el proxy de alto anonimato?
R: ¡Debe cambiarse! High Stash sólo puede ocultar la IP, ¡las características de la cabecera de la solicitud seguirán siendo reconocidas!

P: ¿Cómo elijo una dirección proxy para ipipgo?
R: Hay un generador de código listo en el backend de la página web, elige el modo "curl+antidetección" y cópialo directamente.

P: ¿Es mejor tener más parámetros de encabezado de solicitud?
R: ¡Gran error! Añadir demasiados parámetros no útiles es bastante sospechoso, ¡según la plantilla damos suficiente!

habilidad avanzada

1. Retardo aleatorio: añade sleep $((RANDOM%5)) antes del comando para pausar aleatoriamente durante 0-5 segundos.
2. Rotar UA: almacenar UA de uso común en un archivo txt y leerlo aleatoriamente para cada petición.
3. Camuflaje de protocolo: el proxy de ipipgo soporta los modos socks5 y http, por lo que se recomienda mezclarlos.

La última cosa que quiero recordarles es que la configuración es perfecta, pero la calidad del proxy no es lo suficientemente buena. Recientemente, cuando ayudé a un cliente de depuración, me encontré con que la tasa de éxito del proxy ordinario es sólo 78%, pero el paquete de negocios de ipipgo directamente se disparó a 99,6%. Esta cosa es similar a usar ropa, la chaqueta (proxy) y la ropa interior (encabezado de solicitud) tienen que prestar atención a.