Uso de proxies con curl: ejemplos prácticos desde la línea de comandos

¡Enséñate a usar el rizo para colgar proxy!

participar en el desarrollo de la red sabe, rizo esta cosa es como una navaja suiza, qué protocolos son compatibles. Pero cuando se trata de la necesidad de escenarios de proxy, muchos novatos serán ciegos. Hoy tomamos ipipgo servicio de proxy como un ejemplo, regañando cómo jugar en la configuración de proxy de línea de comandos.

Postura básica: poner un "manto de invisibilidad" sobre el rizo.

La configuración proxy más sencilla es de dos parámetros:-x tal vez -proxy. Por ejemplo, con el proxy HTTP de ipipgo:

curl -x http://user:pass@proxy.ipipgo.com:8080 https://target-site.com

Fíjese en el formato:Protocolo://nombredeusuario:contraseña@dirección del proxy:puertoSi no tiene contraseña, basta con que escriba la dirección. Si no tiene contraseña, sólo tiene que escribir la dirección. como un proxy temporal para desarrollo y pruebas:

curl --proxy socks5://prueba-proxy.ipipgo.com:1080 http://example.com

Juego de orden superior: división entre distintos protocolos

Hay un hecho frío sobre el rizo:-proxyresponder cantando-calcetines5Es posible mezclar y combinar. Por ejemplo, utilizar un proxy SOCKS5 para acceder a un sitio HTTP:

curl --socks5 proxy.ipipgo.com:1080 -L http://login-page.site

El parámetro -L aquí es una redirección automática de seguimiento, que es particularmente útil cuando se utiliza con proxies. Otro ejemplo es cuando se necesita probar con varios proxies al mismo tiempo:

curl --proxy http://proxy1.ipipgo.com:8080 --proxy http://proxy2.ipipgo.com:8081 -U usuario:pass https://api.service.com

Guía para evitar escollos: tratamiento de errores comunes

1. EncuentroProxy CONNECT abortadoError: Lo más probable es que el servidor proxy esté dando tirones, ¡cambia el nodo de ipipgo para probar!
2. Tiempo de esperaProblema: Añada un parámetro -connect-timeout, por ejemplo, establezca un tiempo de espera de 5 segundos:

curl --proxy http://proxy.ipipgo.com:8080 --connect-timeout 5 https://slow.site

3. Error de certificado: añada un parámetro -k para ignorar la autenticación SSL (para entornos de prueba, utilícelo con precaución en entornos de producción).

Escenarios prácticos: algunas castañas

Escena 1:Probar la conectividad de la interfaz API
Prueba masiva con el pool de proxy rotativo de ipipgo:

for i in {1..5}; do
  curl -x http://proxy$i.ipipgo.com:9090 https://api.example.com/health
hecho

Escena 2:Capturar páginas que requieren inicio de sesión
Funciona con cookies:

curl -x socks5://auth-proxy.ipipgo.com:1080 -b "sessionid=xxxx" https://member.website.com

Tiempo de control de calidad

P: ¿Qué debo hacer si no puedo conectarme al agente todo el tiempo?
R: Primero comprueba que la dirección/puerto del proxy es correcta, luego usa telnet para medir la conectividad:
telnet proxy.ipipgo.com 8080
Si no puedes conectarlo, cambia a otro nodo de ipipgo, su tasa de supervivencia de nodos es superior a 95%.

P: ¿Y si tengo que cambiar de agente con frecuencia?
R: Escribe la configuración del proxy en una variable de entorno:
export http_proxy=http://proxy.ipipgo.com:8080
export https_proxy=$http_proxy
De esta forma todas las peticiones curl irán automáticamente al proxy

P: ¿La lentitud de los agentes afecta al negocio?
R: Recomendado para ipipgoUso exclusivo de líneas de alta velocidadLas velocidades de descarga medidas pueden llegar a más de 50 Mbps. Durante las pruebas, puede añadir un-wLos parámetros parecen consumir mucho tiempo:
curl -x http://vip-proxy.ipipgo.com:8080 -w "time: %{time_total}s" https://file.server.com

Curl con proxy no es difícil de decir, pero la puerta de entrada es bastante. La clave para elegir un servicio proxy fiable, como ipipgo con enrutamiento inteligente, diferentes escenarios de negocio tienen soluciones correspondientes. Por último, recuerde:Utilice siempre un agente certificado para los entornos de producciónNo utilices proxies gratuitos a disposición del público, conseguirás que intercepten tus datos en cuestión de minutos.