BeautifulSoup Python Crawl : une étude de cas dans l'analyse du Web

Apprenez à utiliser Python+Proxy IP pour obtenir le crawl de la page web.

Récemment, j'ai aidé un ami à créer un site de comparaison de prix et j'ai remarqué que de nombreuses plateformes commençaient à jouer avec la technologie de l'information.Blocage IPL'astuce. Par exemple, 30 visites consécutives pour bloquer l'IP, ce qui rend la saisie des données particulièrement difficile. Cette fois, vous avez besoin d'une IP proxy pourdissimulerAujourd'hui, nous allons utiliser des exemples concrets pour vous apprendre à utiliser BeautifulSoup avec un proxy IP pour obtenir les données.

import requests
from bs4 import BeautifulSoup

 Ici, nous le remplaçons par les proxies fournis par ipipgo
proxies = {
    'http' : 'http://username:password@gateway.ipipgo.com:9020', 'https' : 'http://username:password@gateway.ipipgo.com:9020', 'http' : 'http://username:password@gateway.ipipgo.com:9020'
    'https' : 'http://username:password@gateway.ipipgo.com:9020'
}

response = requests.get('destination URL', proxies=proxies)
soup = BeautifulSoup(response.text, 'html.parser')
 Le code d'analyse est le suivant...

Trois grands scénarios pour le proxy IP

Beaucoup de gens pensent que l'IP proxy ne peut servir qu'aux crawlers, en fait, il y a de nombreuses utilisations :

Guide pratique pour éviter la fosse

Une efficacité prouvée ! Surveillez-les avec le service proxy d'ipipgo :

1. L'en-tête de la requête doit se faire passer pour un navigateur (User-Agent n'utilise pas les valeurs par défaut de Python).
2. Randomisation des intervalles d'accès (ne le faites pas ressembler à un robot)
3. Ne vous battez pas avec le CAPTCHA, changez d'adresse IP et réessayez.

 Exemple de dissimulation des en-têtes du navigateur
headers = {
    User-Agent" : "Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36... , 'Accept-Language' : 'Accept-Language'.
    'Accept-Language' : 'zh-CN,zh;q=0.9'
}

 Temps d'attente aléatoire
import random
time.sleep(random.uniform(1,3))

Foire aux questions QA

Q：Que dois-je faire si mon IP proxy ne fonctionne pas lorsque je l'utilise ?
R : Il est recommandé d'utiliser le proxy résidentiel dynamique d'ipipgo. Son pool d'adresses IP est mis à jour quotidiennement avec plus de 8 millions d'adresses, et la stabilité du pro-test est bien plus élevée que celle des proxys statiques.

Q : Que dois-je faire si le crawl est lent ?
R : Vous pouvez essayer le service exclusif de bande passante d'ipipgo avec un crawler multithread. Mais veillez à ce que le nombre de threads ne dépasse pas la limite de simultanéité du proxy.

Q : Que dois-je faire si je rencontre une erreur de certificat SSL ?
R : Ajoutez le paramètre verify=False dans les requêtes, ou demandez à l'assistance technique d'ipipgo de vous aider à résoudre le problème de la configuration du proxy.

La porte d'entrée pour choisir les services d'une agence

Il existe une grande variété de services d'agences sur le marché et il est recommandé de se concentrer sur ces points :

• Durée de survie de l'IP (les proxys résidentiels d'ipipgo durent en moyenne 5 minutes)
• Couverture géographique (plus de 200 pays)
• Prise en charge du protocole (HTTP/HTTPS/SOCKS5 sont nécessaires)

Enfin, pour rappeler aux débutants : les proxy gratuits ont neuf points faibles, avant que l'IP gratuite du crawler ne tombe en panne trois fois. Maintenant, j'utilise le forfait mensuel d'ipipgo avec remplacement automatique de l'IP, ce qui m'évite bien des maux de cœur. Surtout leurRoutage intelligentpermet de sélectionner automatiquement le nœud le plus rapide, ce qui double directement la vitesse d'exploration.