Tutoriel Beautiful Soup : Guide d'analyse Python

Tout d'abord, pourquoi utiliser un proxy IP avec Beautiful Soup ?

Les personnes qui se sont engagées dans l'exploration de données savent que le mécanisme anti-escalade des sites web est désormais de plus en plus strict. Vous prenez une IP ordinaire pour saisir des données, la limite de vitesse est légère, le sceau direct est lourd. À l'heure actuelleIP proxyC'est une véritable bouée de sauvetage, surtout pour les fournisseurs de services comme ipipgo qui se spécialisent dans les proxys à forte cachette, changeant d'IP à chaque demande, et le site ne peut tout simplement pas savoir si vous êtes une personne réelle ou un robot d'indexation.

Pour donner un scénario réel : vous voulez attraper le prix d'une plate-forme de commerce électronique, avec leur propre maison à large bande connecté à la demande 50 fois, les résultats de la troisième fois sur le sceau. Passez au pool de proxy dynamique d'ipipgo, chaque demande change aléatoirement les différentes régions du pays de l'IP, le taux de réussite tire directement à 95% ou plus.

import requests
from bs4 import BeautifulSoup

proxies = {
  'http' : 'http://username:password@gateway.ipipgo.com:9020',
  'https' : 'http://username:password@gateway.ipipgo.com:9020'
}

response = requests.get('https://target-site.com', proxies=proxies)
soup = BeautifulSoup(response.text, 'html.parser')

Deuxièmement, configurer le proxy IP des trois grands pièges

C'est l'endroit le plus facile où tomber pour un novice :

1. Mauvaise méthode d'authentificationLe proxy d'ipipgo nécessite une double authentification avec un compte et un mot de passe, et de nombreuses personnes omettent le paramètre d'autorisation dans le code.

2. Inadéquation du protocoleLe site https : Accéder à un site https en utilisant un proxy http, c'est comme utiliser une carte de bus pour passer un portillon de métro.

3. Temps de survie IP

Aujourd'hui, sur le marché, les fournisseurs de services d'agents de qualité variable, certains revendiquant des millions de pools d'IP, la disponibilité réelle étant inférieure à 30%. ipipipgo voit principalement sesMécanisme de détection de la survieLe système élimine automatiquement les nœuds défaillants toutes les minutes. Mesuré en continu pendant 6 heures, le nombre d'interruptions de requêtes ne dépasse pas 3 fois.

headers = {
    
    'Accept-Language' : 'en-US,en;q=0.5'
}

for page in range(1, 100) : 'Accept-Language' : 'en-US,en;q=0.5' }
    time.sleep(random.uniform(1, 3)) random wait
    response = requests.get(f'https://xxx.com/page/{page}', headers=headers, proxies=proxies)