Utiliser des proxys avec curl : exemples pratiques en ligne de commande

Apprenez à utiliser la boucle pour accrocher une procuration !

Les personnes engagées dans le développement de réseaux savent que curl est comme un couteau suisse, quels sont les protocoles pris en charge. Mais quand il s'agit de la nécessité de scénarios de proxy, beaucoup de débutants seront aveugles. Aujourd'hui, nous prenons ipipgo proxy service comme exemple, en nous demandant comment jouer dans les paramètres de proxy de la ligne de commande.

Posture de base : mettre une "cape d'invisibilité" sur la boucle.

La configuration la plus simple du proxy est constituée de deux paramètres :-x peut-être -proxy. Par exemple, avec le proxy HTTP d'ipipgo :

curl -x http://user:pass@proxy.ipipgo.com:8080 https://target-site.com

Notez la mise en forme :Protocole://nom d'utilisateur:mot de passe@proxy adresse:portSi vous n'avez pas de mot de passe, écrivez simplement l'adresse. Si vous n'avez pas de mot de passe, vous pouvez simplement écrire l'adresse. comme un proxy temporaire pour le développement et les tests :

curl --proxy socks5://test-proxy.ipipgo.com:1080 http://example.com

Jeu avancé : répartition entre différents protocoles

Il y a une vérité froide à propos des boucles :-proxyrépondre en chantant-chaussettes5Il est possible de combiner les deux. Par exemple, utiliser un proxy SOCKS5 pour accéder à un site HTTP :

curl --socks5 proxy.ipipgo.com:1080 -L http://login-page.site

Le paramètre -L ici est une redirection de suivi automatique, ce qui est particulièrement pratique lorsqu'on l'utilise avec des proxys. Un autre exemple est celui où vous devez tester avec plusieurs proxies en même temps :

curl --proxy http://proxy1.ipipgo.com:8080 --proxy http://proxy2.ipipgo.com:8081 -U user:pass https://api.service.com

Guide pour éviter les pièges : les erreurs de traitement les plus courantes

1. rencontreProxy CONNECT interrompuErreur : Il est très probable que le serveur proxy ne fonctionne pas correctement, changez le noeud d'ipipgo pour essayer !
2. Délai d'attenteProblème : ajoutez un paramètre -connect-timeout, par exemple, fixez un délai de 5 secondes :

curl --proxy http://proxy.ipipgo.com:8080 --connect-timeout 5 https://slow.site

3. erreur de certificat : ajouter un paramètre -k pour ignorer l'authentification SSL (pour un environnement de test, à utiliser avec précaution dans un environnement de production)

Scénarios pratiques : quelques marrons

Scène 1 :Tester la connectivité de l'interface API
Test en vrac avec le pool de proxy rotatif d'ipipgo :

for i in {1..5} ; do
  curl -x http://proxy$i.ipipgo.com:9090 https://api.example.com/health
fait

Scène 2 :Capturer les pages qui nécessitent une connexion
Fonctionne avec des biscuits :

curl -x socks5://auth-proxy.ipipgo.com:1080 -b "sessionid=xxxx" https://member.website.com

Temps d'assurance qualité : vous pouvez demander

Q : Que dois-je faire si je ne peux pas me connecter à l'agent en permanence ?
R : Vérifiez d'abord que l'adresse et le port du proxy sont corrects, puis utilisez telnet pour mesurer la connectivité :
telnet proxy.ipipgo.com 8080
Si vous ne pouvez pas le connecter, passez à un autre nœud d'ipipgo, leur taux de survie des nœuds est supérieur à 95%.

Q : Que se passe-t-il si je dois changer fréquemment d'agent ?
A : Inscrire la configuration du proxy dans une variable d'environnement :
export http_proxy=http://proxy.ipipgo.com:8080
export https_proxy=$http_proxy
De cette façon, toutes les requêtes curl vont automatiquement vers le proxy

Q : La lenteur des agents affecte-t-elle les entreprises ?
A : Recommandé pour ipipgoUtilisation exclusive des lignes à grande vitesseLes vitesses de téléchargement mesurées peuvent atteindre 50 Mbps+. Lors des tests, vous pouvez ajouter un-wLes paramètres regardent le temps écoulé :
curl -x http://vip-proxy.ipipgo.com:8080 -w "time : %{time_total}s" https://file.server.com

Curl avec proxy n'est pas difficile à dire, mais la porte d'entrée est assez grande. La clé pour choisir un service proxy fiable, comme ipipgo avec le routage intelligent, différents scénarios d'affaires ont des solutions correspondantes. Enfin, n'oubliez pas :Utilisez toujours un agent certifié pour les environnements de productionN'utilisez pas les proxys gratuits accessibles au public, vos données seront interceptées en quelques minutes.