Installation de BeautifulSoup : Guide de configuration de pip

Bloqué à la première étape de l'installation de BeautifulSoup ? Réglez d'abord les problèmes de réseau de pip

Beaucoup de frères dans l'apprentissage du crawler, le premier obstacle n'est pas le code n'est pas écrit correctement, mais même charger le paquet ne peut pas être chargé. Par exemple, pip installé BeautifulSoup souvent coincé dans le lien de téléchargement, regardant la barre de progression une demi-journée ne bouge pas, anxieux de frapper le clavier. Cette fois-ciIP proxyIl vous aidera à briser la glace - surtout avec notre service proxy premium ipipgo, qui peut faire décoller immédiatement les vitesses de téléchargement.

 Comme un marronnier, la posture correcte pour charger des librairies avec des proxys
pip install beautifulsoup4 --proxy=http://用户名:密码@ipipgo proxy address:port

Notez qu'ici pour ipipgo backstage remplir le mot de passe du compte, ne copiez pas directement mon exemple ha. Précédemment, un élève a confondu la lettre l et le chiffre 1 dans le mot de passe, et il a fallu une demi-heure pour trouver le problème.

Apprentissage pratique de l'appariement des proxies de pip

Pour les utilisateurs de Windows, maintenez les touches Maj+clic droit enfoncées et sélectionnez "Ouvrir Powershell ici", puis entrez cette commande :

pip config set global.proxy http://你的ipipgo账号:密码@gateway.ipipgo.com:9021

Les utilisateurs de Mac/Linux doivent ajouter les privilèges sudo, n'oubliez pas d'entrer la commande suivanteRedémarrer la fenêtre de la ligne de commandeIl ne prendra effet qu'à ce moment-là. Un piège courant consiste à ouvrir le proxy système et le proxy pip, ce qui entraîne un conflit entre les deux proxy ; il faut donc désactiver le proxy système sur la ligne.

Pourquoi dois-je utiliser une adresse IP proxy ?

Trois raisons essentielles :

Surtout avec ipipgo.Agents résidentiels dynamiquesLe pool d'IP est mis à jour tous les jours avec plus de 500 000 adresses, ce qui est moins susceptible d'être reconnu que les proxys ordinaires de la salle des serveurs. La dernière fois, il y a une équipe de saisie de données, avec un proxy ordinaire a été bloqué plus de 20 IP, changé pour ipipgo après une semaine n'a pas eu d'autres problèmes.

Enregistrement des pièges réels

Solution :

pip uninstall beautifulsoup
pip install --upgrade beautifulsoup4

Si une erreur de certificat SSL est signalée, ajoutez la commande-trusted-host pypi.org -trusted-host files.pythonhosted.orgC'est une question d'expérience avec les proxys ipipgo. Il s'agit de l'expérience réelle accumulée lors de l'utilisation du proxy ipipgo, les tutoriels en ligne ne vous donneront pas ces détails.

Foire aux questions QA

Q：Le téléchargement échoue toujours même après l'appairage de l'agent ?
A：First ping the proxy address pass or fail, and then check the account password has no special symbols need to be escaped.

Q : Comment obtenir un intranet d'entreprise ?
A：Contactez le service clientèle d'ipipgo pour une configuration exclusive du tunnel, supportant les protocoles socks5 et http dual.

Q : Les proxys gratuits fonctionnent-ils ?
R : on peut se contenter d'un test à court terme, mais pour une utilisation à long terme, il faut avoir recours à ce type de service payant. Neuf proxys gratuits sur dix sont instables, et le dernier peut voler des données.

Enfin, il convient de rappeler que les projets de crawler doivent toujours utiliser l'optionAgents à forte valeur ajoutéeLes informations d'en-tête du proxy d'ipipgo n'exposeront pas X-Forwarded-For à ces champs, et c'est efficace. Une fois que j'ai oublié d'accrocher le proxy directement exécuter des scripts, les résultats de l'entreprise IP directement par le site cible noir, leçon de sang ah !