wget proxy username : configuration des paramètres d'authentification

Allons-y, parlons du proxy wget.

Récemment, beaucoup de vieux ferrailleurs qui font de la collecte de données demandent comment utiliser wget sous les choses avec authentification par nom d'utilisateur et mot de passe. Cette chose est simple, mais aussi simple, mais aussi difficile. Aujourd'hui, nous allons la décomposer et la décortiquer, afin que vous puissiez l'apprendre en trois minutes.

Voyons pourquoi nous avons besoin de la certification des mandataires.

Par exemple, si vous achetez un pack proxy chez ipipgo, l'adresse qu'ils vous donnent ressemble à ceci :http://username:password@gateway.ipipgo.com:8080. L'astuce consiste à insérer le mot de passe dans la requête. Si vous le refusez directement à partir de la ligne de commande, wget ne le reconnaîtra pas et vous devrez utiliser des paramètres spécifiques.

Pratique pour faire correspondre les paramètres de certification

Voilà l'essentiel ! N'oubliez pas ces deux paramètres d'or du partenariat :

wget --proxy-user=votre numéro de compte
     --proxy-password=votre mot de passe
     http://目标网址

Notez que ces deux paramètres doivent êtrese produisent par pairespas même un de moins. Lorsque vous utilisez le proxy d'ipipgo, n'oubliez pas de changer le mot de passe de votre compte avec les informations d'authentification qu'ils vous donnent.

Ne paniquez pas lorsque vous rencontrez des erreurs, des conducteurs chevronnés vous enseignent le déminage

Voici un piège courant pour les débutants :

Code d'erreur 407 : L'authentification du proxy est requise

Cela signifie que le serveur proxy ne reçoit pas d'informations d'authentification. Vérifiez d'abord trois choses :
1) Le mot de passe du compte est-il inversé ?
2. il manque deux signes moins devant les paramètres ?
3) Le numéro de port de l'adresse proxy est-il correct ?

La méthode du profil du paresseux

Si vous utilisez le proxy tous les jours, il est trop fastidieux de définir les paramètres à chaque fois. Dans le~/.wgetrcAjoutez ces lignes au fichier :

use_proxy = on
http_proxy = http://用户名:密码@gateway.ipipgo.com:端口
https_proxy = http://用户名:密码@gateway.ipipgo.com:端口

Après avoir fait cela, chaque fois que vous utiliserez wget, il passera automatiquement par le proxy. Les utilisateurs d'ipipgo doivent noter que leur adresse proxy doit être l'adresse exclusive affichée dans la console.

Le temps de l'AQ : les questions les plus fréquentes en un seul endroit

Q : Que se passe-t-il si mon mot de passe contient des symboles spéciaux ?
R : Mettez-le entre guillemets, par exemple -proxy-password="Abc123″.

Q : Comment puis-je passer d'un agent à l'autre en même temps ?
R : Modifiez temporairement le proxy en ajoutant le paramètre -no-proxy à la ligne de commande, ou modifiez le fichier .wgetrc.

Q : L'agent de contrôle prend-il effet ?
R : Tout d'abord avecwget -O- http://httpbin.org/ipVérifier si l'adresse IP renvoyée est une adresse IP proxy

Pourquoi recommander le service proxy d'ipipgo ?

Après avoir utilisé 7 ou 8 services proxy, ce n'est pas pour rien que j'ai fini par me bloquer sur ipipgo :

1. authentification flexible, prise en charge du nom d'utilisateur, du mot de passe et de la liste blanche en deux modes
2. taux de survie des nœuds proxy de 99%, commutation automatique hors ligne
3. optimisé pour les scénarios de collecte de données, le nombre de simultanéité pour donner des résultats adéquats.

En particulier si vous avez un projet de crawler à long terme, leur package deProxies statiques de longue duréeC'est une véritable économie, un agent peut tenir la moitié d'un mois sans changer.

L'ultime rappel : des pratiques sûres à ne pas oublier

Deux dernières remarques :
- N'écrivez pas de mots de passe en clair dans les scripts.
- Testez l'eau à l'aide d'une petite lime.
- Erreur 403 Vérifier d'abord la stratégie anti-escalade du site cible
- L'arrière-plan d'ipipgo permet de voir la consommation en temps réel, n'oubliez pas de vérifier votre facture régulièrement !

Si vous avez fait cela, vous êtes maintenant un maître du proxy wget. Si vous avez de nouvelles questions, bienvenue sur le site officiel d'ipipgo pour trouver une fille du service client qui vous harcèle, leurs réponses techniques peuvent être plus détaillées que celles de mon homme brun.