
Apprendre à utiliser Curl avec un proxy
Les partenaires de la ligne de commande connaissent curl, cet outil, mais beaucoup de gens sont coincés dans les paramètres du proxy de cette étape. Aujourd'hui, nous allons utiliser la manière la plus terre à terre pour parler de la façon de définir un proxy pour curl à travers les variables d'environnement. N'oubliez pas que les proxys dont nous parlons ici sont des scénarios d'application légaux et conformes, tels que les tests d'interfaces, la collecte de données publiques et d'autres utilisations sérieuses.
méthode de définition des variables d'environnement
Les paramètres globaux au niveau du système sont les moins problématiques et leur utilisation est recommandéehttp_proxyrépondre en chantanthttps_proxyLes utilisateurs de Windows doivent noter que les noms des variables doivent être en majuscules, tandis que les utilisateurs de Linux/macOS peuvent utiliser des majuscules et des minuscules.
Le terminal Linux/macOS affiche ceci
export http_proxy="http://user:pass@proxy.ipipgo.com:9021"
export https_proxy="http://user:pass@proxy.ipipgo.com:9021"
La ligne de commande Windows fait ceci
set HTTP_PROXY=http://user:pass@proxy.ipipgo.com:9021
set HTTPS_PROXY=http://user:pass@proxy.ipipgo.com:9021
这里有个坑要注意:ipipgo的代理地址记得换成你自己买的套餐对应的地址。账号密码里有特殊符号的话,得用%加上ASCII码代替,比如@符号要写成%40。
Un excellent moyen d'utiliser des agents sur une base temporaire
Si vous ne souhaitez pas modifier les paramètres du système, il est plus souple d'ajouter des paramètres directement à la commande curl :
curl -x "http://user:pass@proxy.ipipgo.com:9021" https://target-site.com
Ce paramètre -x (ou -proxy) convient mieux aux situations où vous devez changer fréquemment de mandataire. Par exemple, si vous voulez tester l'effet de différentes IP régionales, vous pouvez écrire un script pour appeler cycliquement différents serveurs mandataires.
Comment cacher des informations d'authentification en toute sécurité
Il n'est jamais prudent d'écrire le mot de passe de votre compte à la vue de tous :
- Enregistrement des informations d'authentification dans un fichier .netrc
- Opter pour l'authentification par liste blanche d'adresses IP (cela dépend de la prise en charge par le fournisseur de proxy).
Par exemple, les packages d'entreprise d'ipipgo permettent de lier les IP des serveurs, de sorte qu'il n'est même pas nécessaire d'introduire un mot de passe de compte, il suffit de l'écrire de cette manière :
curl -x "http://proxy.ipipgo.com:9021" https://api.example.com
Lignes directrices pour le déminage opérationnel
Ne paniquez pas si le proxy ne fonctionne pas, vérifiez dans l'ordre suivant :
| symptomatique | liste de contrôle |
|---|---|
| Je ne peux pas me connecter au serveur proxy. | 1. protection contre l'incendie du réseau 2) Le port de l'adresse du proxy est-il correct ? |
| Retour 407 Erreur d'authentification | 1) Y a-t-il une erreur dans le numéro de compte et le mot de passe ? 2. si l'emballage est périmé |
| Délai d'accès | 1. état du serveur proxy 2. résolution DNS locale |
séance de questions-réponses
Q : Pourquoi curl ne m'écoute-t-il toujours pas après avoir défini des variables d'environnement ?
R : 80% du nom de la variable n'est pas écrit correctement, Windows doit utiliser HTTP_PROXY en majuscules, Linux/macOS est sensible à la casse.
Q : Comment puis-je vérifier que l'agent est bien en fonction ?
R : Utilisez cette commande pour mesurer d'abord la connectivité :
curl -x http://proxy.ipipgo.com:9021 http://cip.cc
Vérifier si l'adresse IP renvoyée est une adresse IP proxy
Q : Qui dois-je écouter lorsqu'il y a à la fois des variables d'environnement et des arguments de ligne de commande ?
R : Les paramètres de la ligne de commande ont la priorité la plus élevée et le paramètre -x remplace le paramètre de la variable d'environnement.
Q : Quel est le bon paquet proxy à choisir pour ipipgo ?
R : pour le développement personnel, il convient de choisir le forfait de facturation au volume, tandis que pour l'utilisation en entreprise, il est recommandé d'acheter un forfait IP fixe. Leur agent résidentiel dynamique pour la collecte de données est particulièrement stable, il est nécessaire d'aller sur le site officiel pour voir la différence entre les différents forfaits.
Une dernière chose : si vous utilisez bien les proxies, vous pouvez doubler votre efficacité. Mais n'oubliez jamais de respecter les conditions d'utilisation du site, ne vous engagez pas dans des requêtes violentes qui le fixent. Si vous rencontrez des problèmes techniques, vous pouvez directement poke le support technique 7×24 d'ipipgo, ces ingénieurs répondent rapidement.

