BeautifulSoup : Proxy IP pour améliorer l'efficacité de l'analyse du Web

Apprenez à utiliser l'IP proxy pour la "vie" du crawler.

Les frères engagés dans le crawling ont dû rencontrer une telle scène : le code n'est manifestement pas un problème, mais il est soudainement bloqué, et plus tard, il vous demande directement de signaler une erreur. À ce moment-là, quatre-vingt pour cent du mécanisme anti-escalade du site a été fixé, comme si le fait de jouer au jeu avait été détecté par le système pour s'ouvrir comme s'il était bloqué. Cette fois, c'est au tour de l'IP proxy lorsque l'"armure de résurrection".

Pourquoi votre crawler a-t-il besoin d'une "doublure" ?

De nombreux sites web ont installé un "système de reconnaissance faciale", le même IP qui se rend fréquemment sur le site sera mis à l'index. Comme si vous alliez au supermarché pour essayer de manger, même en prenant une douzaine de fois le même type de cupcake, le vendeur roulera absolument des yeux. L'IP proxy vous aide à changer l'outil du gilet, chaque visite pour changer l'identité, de sorte que le site pense qu'il est un utilisateur différent dans l'opération.

Voici un aperçu de la pièce unique d'ipipgo :

- Un pool dynamique d'IP de plus de 2 millions（"suffisamment grand pour être moins susceptible d'être compromis").
- Minimum 5 secondes entre les intervalles de commutation automatique(beaucoup plus rapide que le changement manuel)
- Taux de réussite garanti 98% ou plus（"Ne vous préoccupez pas de la déconnexion et de la reconnexion.)

Équiper BeautifulSoup d'une cape d'invisibilité

Commençons par un modèle de base et apprenons à l'enrichir par la suite :

import requests
from bs4 import BeautifulSoup

def basic_crawler(url) : response = requests.
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
     Ecrivez votre logique d'analyse ici...

Cette version dépouillée du code ne fonctionnera pas longtemps avant de s'agenouiller, utilisons le service proxy d'ipipgo pour le transformer :

import requests
from bs4 import BeautifulSoup

PROXY_API = "http://ipipgo.com/api/getproxy?type=http" N'oubliez pas de le changer pour votre propre compte.

def smart_crawler(url) :
    proxies = {
        "http" : requests.get(PROXY_API).text, "https" : requests.get(PROXY_API).text
        "https" : requests.get(PROXY_API).text
    }
    try.
        response = requests.get(url, proxies=proxies, timeout=10)
        soup = BeautifulSoup(response.text, 'html.parser')
         La logique d'analyse se passe ici...
        return True
    except Exception as e.
        print(f "Chute du wagon : {e}")
        return False

Guide pratique pour éviter la fosse

Voici quelques points sur lesquels les conducteurs âgés ont tendance à s'effondrer :

Questions fréquemment posées Trousse de premiers secours

Q : Que dois-je faire si j'utilise un proxy et que je suis toujours bloqué ?
R : Vérifiez si le cookie n'est pas nettoyé ou si les caractéristiques de l'en-tête de requête sont trop évidentes. ipipgo backstage a recours à des tutoriels pour vous apprendre à vous déguiser en une personne réelle afin d'opérer.

Q : Est-il normal que l'adresse IP du proxy affecte la vitesse ?
A : Un bon proxy devrait contrôler la latence dans les 200ms comme ipipgo, si elle est supérieure à 1 seconde, il est recommandé de changer de nœud.

Q : Comment puis-je vérifier si l'agent est en fonction ?
R : Ajoutez un print(requests.get("http://ipipgo.com/checkip").text) dans le code pour voir si l'IP de sortie a changé.

Améliorez votre équipement pour reptiles

Enfin, j'aimerais vous donner une suggestion avancée : mettez l'API d'ipipgo dans le cadre du crawler, mettez en place un retry automatique + un remplacement automatique d'IP, de sorte que même si vous rencontrez le monde anti-escalade de l'"exterminateur", votre crawler peut être aussi flexible que la navette Ant-Man.

Si vous utilisez encore un seul frère IP hardband, dépêchez-vous d'aller sur le site officiel d'ipipgo pour obtenir un paquet d'essai. Désormais, les nouveaux venus s'inscrivent pour envoyer du trafic 5G, ce qui est suffisant pour vous permettre de tester des projets de petite et moyenne envergure. N'oubliez pas que l'efficacité d'un programmeur qui sait utiliser des outils et celle d'un programmeur qui se contente d'écrire du code peuvent être à dix pâtés de maisons de distance.