Web Crawling with Python BeautifulSoup : Python Parsing HTML Tutorials

Des exercices pratiques vous apprennent à utiliser Python pour explorer des données sans bloquer l'adresse IP.

Aujourd'hui, nous allons voir comment utiliser BeautifulSoup de Python avec un proxy IP pour résoudre ce problème. Pas de panique, même si vous êtes un débutant, vous pouvez comprendre ce qu'il faut faire.

Pourquoi ai-je besoin d'une IP proxy ?

Par exemple, si vous allez chez votre voisin pour lui emprunter de la sauce soja tous les jours pendant trois jours d'affilée, il sera agacé. Les serveurs web procèdent de la même manière, ils trouvent la même IP à plusieurs reprises, quelques minutes pour vous tirer les vers du nez. C'est le moment où vous devezServices Proxy IP d'ipipgoC'est l'équivalent de changer de tenue à chaque fois que l'on va emprunter de la sauce soja, pour que les gens ne vous reconnaissent pas.

 Comparaison des IP Proxy
Accès normal -> les sites web voient votre véritable IP -> facilement bloqué
Utiliser le proxy ipipgo -> les sites web voient une IP aléatoire -> collecte sécurisée

Préparez vos affaires.

Installez d'abord les deux bibliothèques (sautez si vous les avez déjà installées) :

pip install requests
pip install beautifulsoup4

Voilà ce qu'il en est. Allez-y.Site officiel de l'ipipgoOuvrez un compte, ils ont des crédits d'essai gratuits pour les nouveaux utilisateurs. Une fois que nous avons obtenu l'interface API, nous pouvons obtenir l'IP du proxy dynamiquement.

Processus de base du crawler

Prenons l'exemple de l'exploration d'un site de commerce électronique :

import requests
from bs4 import BeautifulSoup

 Obtenir un proxy depuis ipipgo (l'essentiel !)
def get_proxy() :
    return {
        'http' : 'http://用户名:密码@gateway.ipipgo.com:9020',
        'https' : 'http://用户名:密码@gateway.ipipgo.com:9020'
    }

url = 'https://目标网站.com'
response = requests.get(url, proxies=get_proxy())
soup = BeautifulSoup(response.text, 'html.parser')
 Ecrivez votre logique d'analyse ici...

Comment connecter l'IP du proxy est fiable

Trois points essentiels à retenir :

1. Changer d'adresse IP pour chaque demande (utiliser la fonction de commutation automatique d'ipipgo)
2. Ne fixez pas le délai d'attente à plus de 10 secondes.
3. N'oubliez pas de gérer les exceptions (échecs soudains de changement d'adresse IP).

essayer.
    response = requests.get(url, proxies=get_proxy(), timeout=8)
except.
    print("Cette IP ne fonctionne pas bien, changez-la maintenant !")
     Déclenchement automatique du mécanisme de remplacement d'IP d'ipipgo

Que dois-je faire si je suis confronté à un cas de "backcrawling" ?

Défenses et méthodes de piratage courantes pour les sites web :

Foire aux questions QA

Q : Les IP proxy ne fonctionnent pas lorsque je les utilise ?
R : Choisissez le proxy résidentiel dynamique d'ipipgo, leur pool d'IP est automatiquement rafraîchi toutes les 5 minutes, il ne peut tout simplement pas être épuisé !

Q : Que dois-je faire en cas de ralentissement de l'exploration des données ?
A : Activez le "canal à grande vitesse" en arrière-plan d'ipipgo, leur ligne BGP peut être pressée jusqu'à 80 ms en dessous du délai dans le test réel.

Q : Comment puis-je savoir si une procuration est en vigueur ?
R. : Il faut cocher la case correspondante dans le code :

print(response.request.headers['X-Forwarded-For']) Ce qui est montré ici devrait être une IP de proxy

Un dernier mot.

Le crawler, c'est comme un jeu de cache-cache, plus le site est défendu de manière stricte, plus nous devons être flexibles. UtiliserLe système de proxy intelligent d'ipipgoJe me souviens que leur secret unique est la fonction "IP pool auto-cleaning", qui peut filtrer automatiquement les nœuds non valides. N'utilisez plus ces proxys gratuits, le moment venu les données n'ont pas grimpé mais ont retardé l'effort, pensez-vous que ce n'est pas la bonne chose à faire ?