cURL set request header: ejemplo de configuración de cabecera de petición proxy cURL

Enseña cómo añadir cabeceras de petición cuando se usa cURL para colgar proxies.

Los rastreadores deben entender que algunos sitios deben saber, algunos de la multa especial del sitio, colgando proxy no es suficiente, usted tiene que hacer algo en el encabezado de la solicitud con el fin de embrollar a través. Hoy vamos a utilizar cURL esta herramienta mágica, decir cómo personalizar el encabezado de la solicitud en la solicitud de proxy.

Configuración básica del proxy

En primer lugar, toda la configuración de proxy más simple, tomar nuestro proxy ipipgo como una castaña:

curl -x http://user:pass@proxy.ipipgo.com:8000 https://target-site.com

Aquí tienes una nota.parámetro -xSeguido del formato, no escriba mal los dos puntos. Si está utilizando un proxy socks5, sustituya http por socks5, y el número de puerto depende de la información dada en el paquete específico.

Solicitar consejos prácticos de camuflaje de cabecera

Algunos sitios web comprueban los parámetros User-Agent, por lo que necesitamos actuar como un navegador normal. Pruebe esta configuración:

curl -x http://proxy.ipipgo.com:8000
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
-H "Accept-Language: zh-CN,zh;q=0.9"
https://target-site.com

centrarse enParámetro -Hque pueden apilarse indefinidamente. Generalmente tengo la costumbre de guardar la información de cabecera común en un archivo de configuración y llamarlo con el parámetro -config, lo que me ahorra tener que hacerlo a mano cada vez.

No introduzcas información de autenticación en el código.

Un error común que cometen los novatos es escribir las contraseñas de las cuentas directamente en la línea de comandos, lo cual es inseguro y difícil de mantener. Se recomienda utilizar la gestión de archivos .netrc:

 Crear un archivo .netrc en el directorio de usuario
máquina proxy.ipipgo.com
login Su cuenta
contraseña Su contraseña

Luego añade un parámetro -netrc al ejecutar y listo, código mucho más limpio:

curl --netrc -x http://proxy.ipipgo.com:8000 ...

Tendremos que organizar un reintento después del tiempo de espera.

Si utilizas un proxy, inevitablemente te encontrarás con fluctuaciones de la red, y estos parámetros pueden salvarte la vida en momentos críticos:

--connect-timeout 30 Tiempo de espera de conexión 30 segundos
---max-time 120 Tiempo total de espera 2 minutos
--retry 3 Fallo para reintentar automáticamente 3 veces

Guía práctica de control de calidad

P： ¿La configuración del proxy es correcta pero el sitio web sigue devolviendo 403?
R: Es probable que la cabecera de la petición esté expuesta, intente añadir la cabecera Referer y Cookie, y utilice el parámetro -verbose para ver el proceso completo de la petición.

P: ¿Las solicitudes HTTPS siempre informan de errores de certificado?
R: Añada -proxy-insecure al final del comando, o especifique la ruta del certificado con -proxy-cacert

P: ¿Cómo probar por lotes el conjunto de agentes?
R: Escriba la dirección del proxy en el archivo txt, las llamadas de sondeo con el parámetro -K, recuerde que debe coincidir con el plugin de encabezado de solicitud aleatoria

Por qué recomendar proxies ipipgo

El servicio de agencia utilizado en su propio domicilio, por citar algunas ventajas reales:

Unas palabras especiales de elogio para suLínea TKLa extracción de la API también es conveniente, directamente curl su interfaz puede obtener proxy fresco, ahorrarse para mantener la piscina IP.

Por último, me gustaría señalar que hay que probar cada vez más a configurar el proxy. No tengas prisa en cambiar el proxy cuando encuentres problemas extraños, primero utiliza -trace-ascii para guardar los logs de peticiones y analizarlos, muy a menudo los parámetros no son correctos. Si tiene alguna pregunta específica, no dude en tomarnos el pelo, no hablamos de falsedades.