cURL Add Request Header: Proxy IP Simulation Browser

Manipulación del navegador: trucos para disfrazar cURL

¿Alguna vez se ha encontrado con esta situación? Con el procedimiento para capturar los datos siempre es interceptado por el sitio, la gente puede ver que usted es un acceso a la máquina. Hoy para enseñarle una obra maestra - con cURL camuflado en un navegador, con elipipgoIP proxy para que el servidor no pueda reconocer la real.

¿Por qué el chaleco navegador?

Los servidores web se han perfeccionado y pueden reconocer el acceso de máquinas mediante dos características:

1. Las cabeceras de las peticiones son demasiado limpias (los navegadores vienen con docenas de parámetros)
2. Acceso a IP fija de alta frecuencia (activa inmediatamente el control de riesgos)

Como castaña, una petición cURL desnuda tiene este aspecto:

rizo http://example.com

El servidor ve este tipo de petición a pizarra desnuda y te despacha con un error 403. Habrá que maquillar el paquete de peticiones y ponerle un chaleco proxy.

Guía para solicitar maquillaje para la cabeza

Concéntrese en disimular estos tres parámetros:

Ejemplo de código en vivo (tenga en cuenta que el parámetro -H es más seguro para escribir en segmentos):

curl -H "User-Agent: Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, como Gecko) Chrome/91.0.4472.124 Safari/537.36"
     -H "Accept-Language: zh-CN,zh;q=0.9,en;q=0.8"
     -H "Referencia: https://www.baidu.com/"
     http://target-site.com

La forma correcta de abrir una IP proxy

No basta con cambiar la cabecera de la petición, la dirección IP queda expuesta y sigues jodido. Se recomienda utilizar elipipgoEl agente residencial dinámico, cuyo funcionamiento es enormemente sencillo:

curl -x http://username:password@gateway.ipipgo.io:9021
     -H "User-Agent: ..."
     http://target-site.com

Esté atento a este espacio.-xLos parámetros especifican el servidor proxy, el grupo de proxy de ipipgo rotará automáticamente la IP, más de diez veces más estable que una sola IP. ¡Probado 500 peticiones consecutivas no han desencadenado el bloqueo, probado eficaz!

Paquete antibloqueo

Utiliza una combinación de los dos trucos para obtener mejores resultados:

 En primer lugar, defina la matriz de cabeceras de la solicitud
cabeceras=(
    "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, como Gecko) Version/15.0 Safari/605.1.15"
    "Accept: text/html,application/xhtml+xml"
    "Conexión: keep-alive"
)

 Iniciar una petición con un proxy
curl -x http://user123:pass456@proxy.ipipgo.io:9021
     $(printf "-H '%s' " "${cabeceras[@]}")
     https://target-site.com/api/data

Este script utiliza el enrutamiento inteligente de ipipgo, cambiando automáticamente la IP de salida para cada petición, con parámetros de cabecera de petición aleatorios, la tasa de antibloqueo de 90% o más.

Preguntas frecuentes sobre el desminado

P: ¿Qué debo hacer si me siguen reconociendo después de añadir la cabecera de solicitud?
R: Compruebe si hay cookies y huellas SSL, se recomienda que estén activadas en la consola ipipgoEmulación de huellas dactilares del navegadorfuncionalidad

P: ¿Qué debo hacer si la IP de mi proxy se agota con frecuencia?
R: Después del comando curl, añada--connect-timeout 10Parámetros, contacte también con el soporte técnico de ipipgo para optimizar la línea

P: ¿Y si necesito una solicitud multihilo?
A: Ejecución paralela con xargs con ipipgo'sPaquete multicanal simultáneoLa velocidad despega enseguida.

Por último, me gustaría recordarte que no seas avaricioso con los servicios proxy baratos. He utilizado un par de pequeñas tiendas antes, y su pureza IP simplemente no está a la altura.ipipgoque. La gente tiene su propia sala de servidores + recursos de cooperación del operador, la tasa de éxito puede ser 99.2%, hacer la recopilación de datos saben lo raro que este número. Nuevo registro de usuario también enviar 20G paquete de tráfico, no trate de nada, ¿verdad?