Documentation Beautifulsoup : le manuel officiel

Quand la chenille rencontre Beautifulsoup

Les frères engagés dans le réseau crawler comprennent que la capture de données est la plus effrayée de rencontrer la structure complexe de la page web comme un labyrinthe. C'est le moment de sacrifier Beautifulsoup, cette arme, c'est comme un serrurier intelligent, qui peut être arrangé dans une page web claire des balises. Cependant, il ne suffit pas d'analyser la page, si le site web vous donne une interdiction d'IP, alors le puissant outil d'analyse devra se reposer.

import requests
from bs4 import BeautifulSoup

 N'oubliez pas de remplacer les proxies ipipgo par la configuration suivante
proxies = {
    'http' : 'http://username:password@proxy.ipipgo.com:9020',
    'https' : 'http://username:password@proxy.ipipgo.com:9020'
}

response = requests.get('destination URL', proxies=proxies)
soup = BeautifulSoup(response.text, 'html.parser')

La bonne façon d'ouvrir un proxy IP

De nombreux débutants ont tendance à commettre l'erreur d'écrire des adresses IP mortes directement dans le code. Non seulement il est facile d'être bloqué, mais c'est aussi un gaspillage de ressources. L'utilisation du pool de proxy dynamique d'ipipgo est la meilleure façon d'utiliser les adresses IP mortes de leur famille.Fonction de rotation automatique de l'IPParticulièrement utile pour les longues missions de repérage. N'oubliez pas les trois points clés :

Pièges et contre-mesures dans la pratique

La semaine dernière, un client a parcouru le site de commerce électronique avec une IP ordinaire, il a fonctionné pendant une demi-heure et a été bloqué par 20 IP. Après avoir changé pour la grande réserve de proxies d'ipipgo, il a fonctionné pendant trois jours consécutifs sans problème. Voici une petite astuce : dans requests.Session() dans la configuration du proxy, qu'une seule demande pour régler plus de problèmes.

session = requests.Session()
session.proxies.update({
    'http' : 'http://user:pass@proxy.ipipgo.com:9020',
    'https' : 'http://user:pass@proxy.ipipgo.com:9020'
})

Questions fréquemment posées Trousse de premiers secours

Q : Pourquoi le site est-il toujours bloqué après l'utilisation d'un proxy ?
R : Vérifiez si vous utilisez un proxy transparent, le logiciel ipipgo'sAgents à forte valeur ajoutéeMasque complètement l'IP réel

Q : Dois-je maintenir mon propre pool d'adresses IP ?
R : Ce n'est pas nécessaire, l'API d'ipipgo peut renvoyer une liste d'IP disponibles, n'oubliez pas de régler l'intervalle de commutation automatique.

Q : Qu'en est-il des sites HTTPS ?
R : Dans la configuration du proxy, il faut écrire https et http, car certains sites seront mélangés lors du chargement des ressources.

Pourquoi ipipgo ?

Ce n'est pas pour rien que j'ai essayé 7 ou 8 fournisseurs d'agences et que j'ai finalement opté pour ipipgo. Le leur.Bande passante dédiéeLa conception est particulièrement adaptée aux projets qui nécessitent des connexions stables, contrairement aux proxys partagés qui peuvent laisser tomber la ligne sans bouger. Il y a aussi un avantage caché - la réponse du support technique est super rapide, à trois heures au milieu de la nuit pour lancer un ordre de travail, il y a effectivement quelqu'un qui répond !

La nouvelle fonctionnalité récemment découverte est encore meilleure : le paramétrage directement dans le backend.Liste blanche d'adresses IPLa sécurité du serveur est améliorée de deux crans. Pour les projets à déployer sur le serveur, la sécurité est directement améliorée de deux grades. Cependant, n'oubliez pas de mettre à jour régulièrement les identifiants d'accès, ceci quel que soit celui que vous utilisez ne peut pas être paresseux.

La dernière phrase lancinante de la vérité : les outils et le bétail doivent aussi voir comment les utiliser. J'ai vu quelqu'un ouvrir un proxy ipipgo de 100 mégaoctets, le résultat est trop élevé à cause de la fréquence de crawling du site cible pour tirer au noir. Un intervalle de requête raisonnable + un proxy de qualité, c'est le roi du crawling durable.