Exemple BeautifulSoup : Python analyse le code HTML

Les crawlers sont toujours bloqués IP, essayez ce combo !

Mes frères ont dû rencontrer cette situation, n'est-ce pas ? Lorsque vous écrivez un script de crawler en Python, vous recevez une erreur 403 du site cible juste après deux minutes d'exécution. À ce moment-là, ne vous précipitez pas pour frapper le clavier, nous vous apprenons aujourd'hui à utiliser la fonctionBeautifulSoup+ProxyIPCette paire d'or pour briser la glace.

Pour citer un cas réel : le mois dernier, il y a un frère comparateur de prix de commerce électronique, avec un script ordinaire pour capturer les données d'une plate-forme d'achat, les résultats ne courent qu'une demi-heure, l'IP sera retirée. Plus tard, il a changé pour utiliser le système de proxy rotatif d'ipipgo, avec les compétences d'analyse dont nous allons parler, pour capturer chaque jour des dizaines de milliers d'informations stables sur les produits de base.

Construction pratique d'un environnement anti-blocage

Installez d'abord ces deux bibliothèques essentielles (n'oubliez pas d'opérer dans un environnement virtuel) :

pip install beautifulsoup4 requests

C'est là que le bât blesse ! Une connexion directe traditionnelle revient à surfer nu sur le web, l'utilisation d'une IP proxy équivaut à mettre un gilet pare-balles sur un crawler. Voici un exemple de configuration du service ipipgo :

proxies = {
    'http' : 'http://username:password@gateway.ipipgo.com:9020',
    'https' : 'http://username:password@gateway.ipipgo.com:9020'
}

Veillez à remplacer les informations d'authentification par votre propre compte. Le proxy exclusif d'ipipgo a des ports distincts pour chaque canal, il ne faut donc pas les mélanger.

Quatre étapes pour corriger l'analyse syntaxique du web

Analyse en situation réelle d'un site d'information (désensibilisé) :

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0'} faux navigateur
response = requests.get('https://example.com/news', proxies=proxies, proxies.get('https://example.com/news', 'https://example.com/news'))
                       proxies=proxies, headers=headers)
                       headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

 Récupérer les titres d'une classe spécifique
titles = soup.find_all('h3', class_='news-title')
for title in titles.
    print(title.get_text().strip())

Un guide pour éviter la fosse :Ici, les plus faciles à planter se situent à trois endroits : 1) n'a pas ajouté l'en-tête de requête est identifié comme un crawler 2) proxy IP de mauvaise qualité conduit à l'échec de la requête 3) les changements de structure de la page conduisent à l'échec du sélecteur. Les deux premiers problèmes peuvent être résolus avec le proxy de qualité d'ipipgo + le modèle d'en-tête de requête standard.

Comment rompre le contenu dynamique ?

Lorsqu'il s'agit de pages rendues en JavaScript, BeautifulSoup peut ne pas suffire. Pas de panique, c'est la solution ultime :

En se concentrant sur la solution Selenium, n'oubliez pas d'ajouter le proxy dans la configuration du pilote :

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument('--proxy-server=http://gateway.ipipgo.com:9020')
driver = webdriver.Chrome(options=options)

Questions fréquemment posées Trousse de premiers secours

Q : Pourquoi le site est-il toujours bloqué alors que j'utilise manifestement un proxy ?
R : Vérifiez trois choses : 1) si le proxy est en vigueur 2) si la fréquence des requêtes est trop élevée 3) si elle déclenche les règles anti-escalade du site web. Il est recommandé d'utiliser le forfait de facturation par volume d'ipipgo pour passer automatiquement d'une IP à l'autre.

Q : Que dois-je faire si le code de retour est désordonné ?
R : Spécifier l'encodage lors de l'initialisation de BeautifulSoup :
soup = BeautifulSoup(response.content, 'html.parser', from_encoding='utf-8')

Q : Comment choisir un package d'agent pour ipipgo ?
A : Pour les débutantsversion d'essai(5 $/jour), à transférer lorsque les opérations se stabiliserontÉdition personnalisée pour les entreprisesC'est la première fois que nous procédons de la sorte. Remarque particulière : la collecte à grande échelle doit choisir un pool d'adresses IP exclusif, les adresses IP partagées étant facilement affectées les unes par les autres.

Note finale : le cœur de l'analyse syntaxique du web se trouve dans la fonctionAcquisition stable des pages + extraction précise des données. L'utilisation du service proxy d'ipipgo est comme un turbocompresseur pour le crawler, à la fois pour éviter que l'IP soit bloquée et pour améliorer l'efficacité de la collecte. Si vous avez des questions spécifiques, n'hésitez pas à consulter le site officiel d'ipipgo pour obtenir une assistance technique. La vitesse de réponse de leur service clientèle technique est vraiment rapide, j'ai personnellement testé ce type de réponse en quelques secondes.