L'exploration du Web avec PythonBeautifulSoup : Exemples pratiques

Tout d'abord, pourquoi utiliser une adresse IP proxy pour faire de l'exploration de sites web ?

Le vieux fer à repasser engagé dans les crawlers de réseau doit avoir rencontré une telle situation - juste saisi deux pages de données, le site sera votre IP bloqué. À ce moment-là, il ne faut pas être stupide avec sa propre IP réelle, mais avec une IP proxy, c'est le roi. Pour donner un exemple, comme le jeu d'ouvrir un petit nombre, a été bloqué pour un certain nombre de continuer à jouer, l'IP proxy est la raison.

Nous nous devons d'adresser un coup de chapeau à notreService proxy ipipgoElle est spécialisée dans les proxys résidentiels dynamiques, avec un pool d'IP résidentielles réelles provenant de plus de 200 régions du monde.Pas facilement reconnaissable en tant que crawlerAprès tout, chaque requête est changée en une région différente de l'IP de l'utilisateur réel, le site ne peut tout simplement pas faire la distinction entre la visite d'une personne réelle et le fonctionnement d'une machine.

II. environnement pratique

Chargez-les d'abord :

pip install requests beautifulsoup4

N'oubliez pas de préparer la clé API pour ipipgo, vous obtiendrez l'adresse et le port d'accès exclusifs après l'enregistrement. Il est recommandé de stocker les informations de configuration dans des variables d'environnement afin que le code ait l'air frais :

import os
PROXY_USER = os.getenv('IPIPGO_USER')
PROXY_PASS = os.getenv('IPIPGO_PASSWORD')

III. cinq étapes de la capture de base

Prenons un site de commerce électronique comme cible pour montrer comment capturer les données de prix en toute sécurité :

from bs4 import BeautifulSoup
import requests

def basic_crawler(url) : response = requests.
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
     Ici, nous modifions le sélecteur en fonction de la structure réelle de la page
    prices = soup.select('.price-section')
    return [p.text.strip() for p in prices]

Mais cette opération de fonctionnement à nu, pas moins de 10 minutes absolument bloquées. Ensuite, mettons un "gilet pare-balles".

IV. mise en place d'un proxy shield sur un crawler

Modifier l'objet session des requêtes pour intégrer le service proxy d'ipipgo :

session = requests.Session()
session.proxies = {
    'http' : f'http://{PROXY_USER}:{PROXY_PASS}@gateway.ip ipgo.com:8080',
    'https' : f'http://{PROXY_USER}:{PROXY_PASS}@gateway.ipipgo.com:8080'
}

def safe_crawler(url).
    try.
        response = session.get(url, timeout=10)
        response.raise_for_status()
         Gestion de la logique d'analyse...
    except requests.exceptions.RequestException as e: : print(f "f", "f", "f", "f", "f")
        print(f "Request flopped : {str(e)}")
         Logique de réessai pour la commutation automatique d'IP

C'est là que le bât blesse :Le serveur proxy d'ipipgo est doté d'une fonction de rotation automatique des IP, de sorte que chaque requête peut utiliser une IP de sortie différente, et il est plus efficace s'il est consommé avec un User-Agent aléatoire.

Cinquièmement, le combat proprement dit : les données sur les produits de base ne sont pas conservées.

Un exemple complet de combinaison d'IP proxy et de stratégies anti-crawling :

import random
from fake_useragent import UserAgent

ua = UserAgent()
headers = {'User-Agent' : ua.random}

def super_crawler(url): : {'User-Agent' : ua.random}
    headers = {'User-Agent' : ua.random}
        avec session.get(url, headers=headers) as resp.
            if 'CAPTCHA' in resp.text : if 'CAPTCHA' in resp.text : if 'CAPTCHA' in resp.text.
                print("CAPTCHA déclenché !")
                 Ici, vous pouvez accéder à la plateforme de codage
                return None
            soup = BeautifulSoup(resp.text, 'lxml')
             Logique d'analyse des données...
    except Exception as e.
        print(f "Scène de renversement : {e}")
        return None

Avec cet ensemble de données saisies consécutivement pendant 3 jours d'un certain produit de base de l'Est, le pool d'agents d'ipipgo s'est figé sans être interdit, ce qui montre que l'agent résidentiel dynamique est effectivement fiable.

VI. lignes directrices pour l'apurement des questions fréquemment posées

Q : Pourquoi suis-je toujours bloqué alors que j'utilise un proxy ?
R : Vérifiez trois points : 1. si le type de proxy est correct (proxy résidentiel recommandé) 2. si la fréquence des demandes est trop élevée 3. s'il faut apporter un en-tête de demande aléatoire.

Q : Quelle est la différence entre ipipgo et les autres agents ?
A : La meilleure caractéristique de sa maison estLa période d'enquête sur le logement dans la vie réelleIl n'est pas aussi facile d'être identifié comme un agent de salle de serveurs. À volume de requêtes égal, le taux de blocage est inférieur aux autres de plus de 60%.

Q : Comment casser le CAPTCHA lorsque je le rencontre ?
R : Réduire de manière appropriée la fréquence des demandes + simulation de mouvements aléatoires de la souris. Si les CAPTCHA sont vraiment trop nombreux, il est recommandé de faire appel à des services de codage professionnels.

Q : Comment puis-je savoir si une procuration est en vigueur ?
R : Visitez l'adresse http://ip.ipipgo.com/checkip pour voir l'IP de sortie et l'emplacement géographique actuellement utilisés.

VII. Résumé des conseils anti-scellement

1. sélection de l'adresse IP du proxyipipgo Agent résidentielNe pas utiliser d'agents libres.
2. changement aléatoire de User-Agent par demande
3) Contrôler la fréquence des demandes, ne pas les faire exploser comme une mitrailleuse.
4. la saisie de données critiquesAvec réessai automatiquelogique du code
5) Vérifier régulièrement la connectivité du proxy et remplacer les IP défaillantes en temps utile.

Enfin, rappelez à tous les crawlers qu'une IP proxy n'est pas une médaille d'or et qu'il faut se conformer à l'accord sur les robots du site Web. Si vous avez besoin d'une collecte stable à long terme, il est recommandé de contacter directement le service clientèle d'ipipgo pour un programme de proxy exclusif personnalisé, leur frère technique peut rendre la collecte de plusieurs fois plus efficace.