¿Cómo configurar cURL para que no siga la redirección? Análisis de casos

Modo de freno manual: control de redireccionamiento cURL manual

Crawler amigos deben haber encontrado esta situación: cURL solicitar una determinada URL, los resultados de la vuelta no es el contenido deseado. En este momento es probable que sea provocada por una redirección de la página web, al igual que la conducción de navegación de repente te dan una nueva ruta, pero es posible que desee ver el camino original en el final a través. Esta vez es necesario dar a la cURL instalado unfreno manual--Desactivar los saltos de seguimiento automático.

La prueba de IP proxy debe desactivar la redirección

Tomemos como ejemplo la prueba de IP de proxy de ipipgo. Digamos que quieres verificar que un proxy puede acceder a un sitio de comercio electrónico correctamente, pero el sitio tiene una característica que redirige automáticamente a los usuarios que no han iniciado sesión a la página de inicio de sesión. Si activa la redirección automática, no podrá saber si el proxy en sí falla al conectarse, o si es saltado por la política del sitio.

Este es el momento de ofrecer este pedido:

curl -x http://username:password@ipipgo-servidor-proxy:puerto -L 0 https://target-site.com

vigilar cuidadosamente-L 0Esta combinación de parámetros, que es la clave para desactivar el salto automático. dirección proxy de ipipgo recuerde cambiar a la dirección real del servidor asignado, con la autenticación de contraseña de la cuenta es más segura.

No confundas la tabla de comparación de parámetros

Nota especial: Algunos tutoriales antiguos enseñan-ubicación de confianzaEste parámetro sólo se utiliza cuando es necesario llevar una cookie para saltar, así que no lo añada a la prueba de proxy normal, ya que puede causar riesgos de seguridad.

Guía práctica para el drenaje de baches

La semana pasada un comentario de un cliente, dijo que con la prueba de proxy residencial de ipipgo siempre devuelve el código de estado 301. Más tarde se encontró que el sitio de destino es forzado salto HTTPS, y su comando de solicitud no desactivar la redirección. Enseñale a usar este combo:

curl -x http://ipipgo动态代理 -I --connect-timeout 5 -m 8 -L 0 https://example.com

El parámetro -I sólo necesita la cabecera de respuesta, -connect-timeout establece un tiempo de espera de conexión de 5 segundos y -m establece un tiempo máximo de petición de 8 segundos. Esto permite determinar con precisión si el proxy estáprimer saltoLa conexión se ha establecido correctamente.

Preguntas rápidas y respuestas a preguntas frecuentes

P: ¿Por qué sigue saltando después de configurar -L 0?
R: 80% de los parámetros están en el orden equivocado, cURL es sensible al orden de los parámetros, asegúrese de que los parámetros de configuración de proxy en la primera, los parámetros de control en el segundo

Q：¿Cómo juzgar si el proxy es efectivo devolviendo 302?
R: Fíjese en el campo Location de la cabecera de respuesta para ver si el nombre de dominio es el esperado, usando el proxy exclusivo de ipipgo puede evitar la contaminación por IP compartida

P: ¿Y si tengo que gestionar varios saltos?
R: En lugar de -max-redirs 3 esta forma, el número indica el número máximo de saltos, con ipipgo la rotación de la reserva de agentes puede evitar eficazmente anti-escalada

La última frase persistente: probar la estabilidad del proxy recuerde apagar el salto, como los frenos de prueba tienen que probar en la carretera recta. servicio de proxy de ipipgo viene con la función de detección de redirección, el fondo puede ver directamente la cadena de respuesta real de cada solicitud, que la depuración manual para ahorrar un montón de problemas. Si tiene problemas, puede probar su servicio técnico al cliente, la velocidad de respuesta es más rápido que los proveedores de servicios ordinarios dos grados.