Accès au proxy Curl : exemples d'arguments de ligne de commande

Apprenez à utiliser la boucle pour accrocher une procuration !

Les confrères engagés dans le développement de réseaux ont dû rencontrer ce scénario : l'interface de débogage locale est morte, le changement d'une IP d'exportation est immédiatement efficace. Cette fois, vous devez sacrifier l'IP proxy, cette arme magique. Aujourd'hui, nous prenons l'outil de ligne de commande curl pour commencer, dire à travers la façon d'utiliser l'IP proxy l'accès au site cible.

Commençons par les choses sérieuses. La commande d'installation de proxy la plus basique ressemble à ceci :

curl -x http://123.45.67.89:8080 https://target-site.com

Ici.Paramètre -xC'est la clé d'or pour spécifier le serveur proxy. Notez que l'adresse du proxy doit avoir un en-tête de protocole (http://或https://) et que le numéro de port ne doit pas manquer. Certains frères omettent souvent les deux points, ce qui fait qu'au bout d'une demi-journée, il est impossible de se connecter.

Le rôle des agents certifiés

Si le serveur proxy demande une vérification du mot de passe du compte, c'est ainsi que les anciens pilotes le font :

curl -x http://user:pass@ipipgo-proxy.com:9023 https://data-source.net

Ici, le mot de passe du compte est rejeté directement dans l'adresse du proxy, ce qui convient pour des tests temporaires. Mais attention, cette façon d'écrire exposera le mot de passe dans la commande history.Ne faites pas cela dans un environnement de production.! Il est recommandé d'écrire le paramètre -proxy-user séparément :

curl -x http://ipipgo-proxy.com:9023 --proxy-user user:pass https://api.example.cn

Les paramètres du délai d'attente doivent être compatibles.

Si vous utilisez un proxy et que vous craignez de rencontrer une mauvaise adresse IP, le délai d'attente est une bouée de sauvetage. C'est la configuration recommandée :

curl -x http://ipipgo-proxy.com:9023 --connect-timeout 15 --max-time 30 https://target.com

délai de connexionContrôle le moment de la connexion avec le proxy, ladurée maximaleest le temps de survie de l'ensemble de la demande. Ces deux paramètres sont utilisés conjointement pour éviter efficacement le blocage du programme. Les tests ont montré qu'avec les serveurs mandataires de qualité d'ipipgo, le paramètre "timeout" est réglé à 5 secondes près et fonctionne sans problème.

Guide pratique pour l'assèchement des nids-de-poule

Les nouveaux arrivants marchent souvent sur la fosse, les frères ont fait le tri pour vous :

Session d'assurance qualité

Q : Pourquoi la réponse est-elle plus lente après l'utilisation du proxy ?
R : 80 %, c'est que la qualité du serveur proxy n'est pas bonne. Nous recommandons d'utiliser le pool d'IP exclusif d'ipipgo, leurs lignes sont optimisées pour BGP, et la latence mesurée peut être réduite à moins de 200ms.

Q : Que se passe-t-il si je dois changer fréquemment d'agent ?
R : Vous pouvez écrire un script shell pour alterner les IP avec l'API d'ipipgo afin d'obtenir de nouveaux proxies de manière dynamique. N'oubliez pas d'ajouter le paramètre -proxy-anyauth dans la commande curl pour gérer l'authentification automatiquement.

Q : Les paramètres du proxy sont-ils efficaces pour les sites https ?
R : Aucun problème ! Les proxys modernes supportent tous le mode tunnel, et le trafic https sera transféré tel quel. Cependant, sachez que certains proxys plus anciens ne supportent pas les extensions SNI, vous devrez donc ajouter le paramètre -ssl-no-revoke à curl pour l'essayer.

Enfin, ipipgo a récemment ajouté un nouveau paquet proxy socks5, qui est beaucoup plus facile à utiliser. Si vous voulez l'essayer, vous pouvez utiliser cette commande pour le tester :

curl -x socks5://ipipgo-socks.com:1080 https://speedtest.ipipgo.com

Rappelez-vous, vous devez regarder la stabilité à long terme du service proxy. Certains petits ateliers IP avec deux jours sur le cool, ipipgo ce côté de mon utilisation continue mesurée de trois mois, le taux de survie IP à 98% au-dessus, faire crawler projet frère peut fermer leurs yeux dans.