
Apprendre à utiliser cURL avec un proxy IP à la main
Les développeurs web savent qu'il est parfois facile de demander un site web directement et de se faire fermer. À ce moment-là, trouver une IP proxy fiable revient à demander une cape d'invisibilité, en particulier lors de la collecte de données ou de tests par lots. Aujourd'hui, comment utiliser le cURL en se moquant de cet outil avec le proxy, d'ailleurs, notre propre service de proxy ipipgo.
Ne négligez pas vos préparatifs.
Tout d'abord, assurez-vous que la dernière version de cURL est installée sur votre ordinateur et, à la ligne de commande, tapez une commande
curl --version
Vous pourrez alors le voir. Si vous ne l'avez pas, allez sur le site officiel et téléchargez un installateur, n'oubliez pas de choisir la version avec support SSL. Ensuite, allez sur le site web d'ipipgo et créez un compte, ils ont un énorme pool d'IP proxy et les nouveaux utilisateurs peuvent se prostituer avec des paquets d'essai.
Trois étapes pour une configuration réelle
Voici un marronnier, supposons que vous vouliez utiliser un proxy HTTP, ipipgo donne les informations de connexion : 111.222.33.44:8000, le mot de passe du compte est user123 et pass456. n'aimez pas les paramètres directement dans la commande :
curl -x http://user123:pass456@111.222.33.44:8000 https://目标网站.com
Vous voyez ?Paramètre -xest la clé de la mise en place du proxy, au formatProtocole://nom d'utilisateur:mot de passe@IP:portSi vous utilisez un proxy SOCKS5, remplacez simplement le http au début par socks5. Si vous utilisez un proxy SOCKS5, remplacez simplement le http au début par socks5.
Conseils pour le réglage des paramètres
| paramètres | correspond à l'anglais -ity, -ism, -ization | Scénarios d'utilisation |
|---|---|---|
| -proxy-anyauth | la criminalistique automatique | A utiliser lorsque vous n'êtes pas sûr de la méthode d'authentification. |
| -proxy-header | En-têtes de requête personnalisés | Lorsque vous devez masquer votre navigateur |
| -connect-timeout | réglage du délai d'attente | Anti-brouillage obligatoire |
Pièges courants AQ
Q : Pourquoi le système renvoie-t-il une erreur 407 ?
R : Neuf fois sur dix, le mot de passe du compte est mal tapé, ou l'IP est bloquée. Allez sur ipipgo background check the proxy status, their family IP survival rate of 98% it.
Q : Comment puis-je vérifier que l'agent fonctionne ?
A : Pas d'accès au proxy dans un premier temps
curl https://api.ipipgo.com/ip
Regardez l'IP locale et exécutez-la à nouveau avec un proxy pour comparer les résultats.
Q : Que dois-je faire si je rencontre une erreur de certificat SSL ?
R : Essayez d'ajouter un-kLes paramètres sautent l'authentification, mais ne le font pas dans un environnement formel. La meilleure façon de procéder est de demander à l'assistance technique d'ipipgo de vous faire passer à un proxy qui supporte HTTPS.
Configuration avancée du lecteur
Inscrire la configuration dans la base de données.curlrcLa documentation est moins compliquée :
proxy = http://user123:pass456@111.222.33.44:8000
délai de connexion = 20
retry = 3
De cette façon, vous n'avez pas besoin de prendre un tas d'arguments à chaque fois que vous appuyez sur la commande. Cependant, si vous souhaitez désactiver temporairement le proxy, n'oubliez pas d'ajouter une ligne de commande-noproxy ""Paramètres.
Enfin, j'aimerais dire que vous devriez chercher une équipe professionnelle d'exploitation et de maintenance comme ipipgo pour choisir un service de proxy. Ils fournissent non seulement des API pour obtenir dynamiquement des IP, mais aussi des paquets de proxy personnalisés, l'ancien pilote du projet crawler sait à quel point il est important d'avoir des IP stables. Si vous utilisez encore un proxy gratuit qui tombe en panne tous les trois jours, dépêchez-vous de jeter un coup d'œil aux activités promotionnelles sur le site officiel.

