BeautifulSoup Python Crawler : Exemple de collecte de pages statiques

Formation pratique à l'utilisation de BeautifulSoup pour l'exploration des sites web.

Récemment, de nombreux petits partenaires ont demandé l'acquisition de pages web statiques. Tout d'abord, pour être honnête, le mécanisme de lutte contre l'escalade des sites web devient de plus en plus strict, l'aversion directe pour le serveur est facile à bloquer, cette fois nous devons utiliser l'IP proxy pour jouer avec. Disons que notre partenaire ipipgo, sa famille est spécialisée dans ce domaine, nous verrons plus tard comment l'utiliser.

Trois axes pour l'exploration statique du web

La collecte de données sur le web se fait en trois étapes :
1. émettre une demande: Demande des données à la bibliothèque des requêtes.
2. structure maigreLa soupe de l'homme : Prenez BeautifulSoup et décomposez-le !
3. stockage des données: Sauvegardez ce dont vous avez besoin

import requests
from bs4 import BeautifulSoup

url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
titles = soup.find_all('h2')
for title in titles.
    titles = soup.find_all('h2') for title in titles : print(title.text)

Pourquoi les IP proxy sont indispensables

Maintenant le site est très bien, la même IP des visites fréquentes vous donne immédiatement du noir. Cette fois, vous devez utiliser une IP proxy pourlit. gilet rotatif. Prenez ipipgo, sa famille en possède :

Exemples concrets : scripts de capture avec proxies

Le code suivant montre comment utiliser le service proxy d'ipipgo, notez la section des paramètres du proxy :

import requests
from bs4 import BeautifulSoup

proxies = {
    'http' : 'http://username:password@gateway.ipipgo.com:9020',
    'https' : 'http://username:password@gateway.ipipgo.com:9020'
}

try.
    response = requests.get('https://target-site.com',
                          proxies=proxies,
                          timeout=10)
    soup = BeautifulSoup(response.text, 'lxml')
     Ecrivez votre logique d'analyse ici...
except Exception as e.
    print(f "Erreur de capture : {str(e)}")

centre: :
1) Allez sur le site web d'ipipgo pour obtenir l'adresse proxy.
2) Un délai de 10 à 15 secondes est recommandé.
3. se rappeler de gérer les exceptions afin que le programme ne tombe pas en panne.

Les pièges les plus courants pour les débutants en assurance qualité

Q : Pourquoi le site est-il toujours bloqué après l'utilisation d'un proxy ?
R : Trois cas de figure peuvent se présenter :
1. mauvaise qualité de l'IP (l'IP dédiée d'ipipgo est recommandée)
2. demandes trop fréquentes (ajouter un temps d'attente aléatoire)
3. l'en-tête de la requête n'est pas bien déguisé (n'oubliez pas d'ajouter User-Agent)

Q：Que dois-je faire si l'IP proxy ne se connecte soudainement pas ?
R : L'arrière-plan d'ipipgo changera automatiquement les nœuds disponibles, si vous construisez le vôtre, vous devez écrire un mécanisme de détection, et trouver que le délai d'attente change automatiquement l'IP.

Q : Que dois-je faire si les données collectées sont brouillées ?
R : Ajoutez response.encoding = 'utf-8' dans les requêtes, ou utilisez la bibliothèque chardet pour détecter automatiquement l'encodage.

Conseils pour la mise à niveau du jeu

1. l'agent utilisateur aléatoire : préparer une liste pour la rotation
2) Collecte distribuée : plusieurs IP proxy travaillant en même temps.
3. tentative anormale : hibernation automatique en cas de code d'état 429
4. camouflage des empreintes digitales : antiretour avancé avec selenium+proxy

Enfin, pour dire un mot sincère, la collecte de pages web est une question de lutte contre le système anti-escalade. Utiliser un bon ipipgo tel qu'un fournisseur de service proxy fiable, permet d'économiser au moins la moitié du temps de balayage. Il dispose d'un crédit d'essai gratuit pour les nouveaux utilisateurs, vous pouvez aller sur le site officiel pour jeter un coup d'œil aux spécificités, ici ne fera pas plus de publicité.