curl with request header | Simular el acceso del navegador a las habilidades de configuración

I. ¿Por qué tengo que fingir que accedo como un navegador?

Una gran cantidad de sitios están ahora con el ladrón como, ver el curl directa enviar una solicitud para volcar la cara. Por ejemplo, se utiliza la herramienta de línea de comandos curl directamente agarrar datos, nueve veces de cada diez recibirán 403 prohibido. esta vez a la solicitud.Maquíllate., haciendo que el servidor se sienta como si una persona real estuviera operando con un navegador.

Aquí hay un escollo a tener en cuenta: algunos sitios no sólo comprueban User-Agent, sino que también miran Accept-Language, Referer y estos parámetros. Es como cuando vas a un restaurante de lujo, no sólo tienes que mirar lo que llevas puesto, sino que también tienes que decir la contraseña correcta para entrar.

Segundo, la mano para enseñarte el arte del camuflaje de rizos

Veamos primero el ejemplo más sencillo:

curl -H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, como Gecko) Chrome/91.0.4472.124 Safari/537.36" https:/ /ejemplo.com

aquí estánParámetro -HEs el interruptor que rellena cosas en la cabecera de la petición. Centrarse en el campo a forjar mira esta tabla:

En tercer lugar, con el proxy IP más seguro

No basta con cambiar la cabecera de la petición, algunos sitios guardan rencor: bloquean las IP cuando detectan visitas sospechosas, así que es hora de utilizar la funciónServicios proxy para ipipgopara librar una guerra de guerrillas. Esto se hace en tres pasos:

1. En primer lugar, vaya al sitio web oficial de ipipgo para obtener un paquete, se recomienda elegir la IP residencial dinámica (esto es lo más parecido a una persona real)
2. Obtenga la dirección API y el número de puerto.
3. Añada el parámetro proxy al comando curl.

El comando completo tiene el siguiente aspecto:

curl -x http://username:password@proxy.ipipgo.com:port -H "User-Agent: Browser UA" https://目标网站

IV. Botiquín práctico de garantía de calidad

P: ¿Qué debo hacer si añado una cabecera de solicitud y me siguen reconociendo?
R: Es probable que la cookie esté expuesta. En primer lugar, utilice su navegador para visitar una vez, copiar la cookie y, a continuación, utilice el botón-H "Cookie: xxx"Parámetros a incorporar.

P: ¿Cuántas veces tengo que utilizar la IP proxy antes de que caduque?
R: Esta situación se recomienda cambiar ipipgo'spaquete de facturación por cantidadesDisponen de un grupo de IPs que se actualiza rápidamente y que cambia automáticamente de IP con cada solicitud, ahorrándote la molestia de tener que cambiarlas manualmente.

P: ¿Y si necesito simular el acceso a un teléfono móvil?
R: Cambia el User-Agent a la versión móvil, por ejemplo:

Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 como Mac OS X) AppleWebKit/605.1.15 (KHTML, como Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1

V. Habilidades avanzadas del jugador

Cuando te encuentres con un sitio web especialmente difícil, prueba estos trucos dañinos:
- Hibernación aleatoria: anteponga al comando curl el prefijodormir $((RANDOM%5+2)) Haz como si pensaras en la vida.
- Uso mixto: IPs residenciales e IPs de salas de servidores intercambiadas (ipipgo tiene ambos tipos)
- Request header shuffle: ajusta aleatoriamente el orden de la cabecera cada vez, para que el sitio no pueda pillar la ley

Por último, un punto clave: cuando utilices una IP proxy, recuerda elegir algo como ipipgo.Proporcionar información completa del encabezado HTTPproveedores de servicios. Algunos proxies baratos omitirán pasar X-Forwarded-For estas cabeceras clave, y quedarán fácilmente expuestos en su lugar.