Améliorer la stabilité du crawler Python avec BeautifulSoup : Proxy IPs

Lorsque le petit garçon à quatre pattes est retiré du site...

Récemment, Lao Zhang a essuyé 403 refus pendant trois jours consécutifs alors qu'il captait les données de prix d'une société de commerce électronique. Il s'est accroupi devant l'ordinateur et s'est gratté la tête : "Comment ce site web peut-il être plus sophistiqué que le portier du quartier ?" Dans cette situation, quatre-vingts pour cent des adresses IP sont reconnues comme des robots d'indexation. C'est le moment d'inviterIP proxyCelui-ci est une aubaine pour changer de gilet.

Comment une adresse IP proxy peut-elle servir de couverture à un crawler ?

En clair, il s'agit de donner au crawler un ensemble de gilets différents (adresse IP), de sorte que le site pense qu'il s'agit de plus d'un utilisateur lors de la visite. Tout comme vous allez à la cantine pour chercher de la nourriture, chaque fois que vous changez de carte de travail, la tante ne se souviendra pas de vous.

Des reptiles dans des gilets de protection

Voici un exemple de ce que vous pouvez faire avecipipgoLe service proxy est un marronnier. Enregistrez-vous d'abord et obtenez ensuite l'adresse API, n'oubliez pas de choisir le type d'IP dynamique résidentielle, c'est ce qui ressemble le plus à une vraie personne qui surfe sur Internet.

import requests
from bs4 import BeautifulSoup

proxies = {
    'http' : 'http://用户名:密码@gateway.ipipgo.com:9020',
    'https' : 'http://用户名:密码@gateway.ipipgo.com:9020'
}

def get_data(url).
    try : resp = requests.get(url, proxies, timeout=)
        resp = requests.get(url, proxies=proxies, timeout=10)
        soup = BeautifulSoup(resp.text, 'html.parser')
         Voici la logique d'analyse
        return soup.find_all('div', class_='price')
    except Exception as e.
        print(f "Tombé dans le trou : {str(e)}")
        return None

Attention ciblée :Le réglage du délai d'attente ne doit jamais être ignoré ! Il est recommandé de le régler entre 8 et 15 secondes afin de pouvoir reculer à temps lorsque l'on rencontre un agent qui traîne.

Ne marchez pas sur ces cinq nids-de-poule

1. La réserve d'adresses IP est trop petite :Au moins 500+ IP dynamiques sont nécessaires pour effectuer une rotation, recommandée.ipipgod'un million de pools IP
2. La tête demandeuse n'a pas de déguisement :N'oubliez pas d'indiquer votre User-Agent et votre Referer.
3. Fréquence de commutation incorrecte :Les sites de commerce électronique recommandent de changer d'adresse IP toutes les 5 à 10 minutes.
4. N'a pas vérifié la disponibilité de l'IP :Il est recommandé de faire un ping au serveur proxy avant chaque requête.
5. Le piège des agents libres :Neuf sur dix de ces agents publics libres sont des pires.

Foire aux questions QA

Q : Pourquoi suis-je toujours bloqué après avoir utilisé un proxy ?
R : Vérifiez trois points : 1. si la fréquence des demandes est trop élevée 2. si le type d'IP proxy est sélectionné correctement 3. si la simulation du mouvement de la souris et d'autres comportements est correcte 4. si la simulation du mouvement de la souris est correcte 5. si la simulation du mouvement de la souris et d'autres comportements est correcte.

Q : Que faire si la réponse de l'IP proxy est lente ?
A : Recommandéipipgoqui sélectionne automatiquement le nœud présentant la latence la plus faible. La mesure peut réduire la réponse moyenne de 3 secondes à 800 ms.

Q : Dois-je maintenir mon propre pool d'adresses IP ?
R : Pas du tout !ipipgoL'API filtre automatiquement les adresses IP non valides et peut être personnalisée pour exporter les adresses IP par région.

Des conducteurs expérimentés parlent de leur expérience

Lorsque j'ai récemment aidé un client à mettre en place un système de comparaison des prix, j'ai utilisé la fonctionipipgoLa stratégie de rotation + la randomisation des intervalles de demande (1-3 secondes) ont fonctionné pendant 2 semaines d'affilée sans déclencher d'effet d'aubaine. Retenez les points clés :Le changement d'adresse IP devrait être naturelNe changez pas votre IP à temps tout le temps, le site n'est pas stupide.

Enfin, un rappel pour les débutants : n'écrivez pas une IP proxy morte dans votre code ! Il est préférable de le faire dans un fichier de configuration ou de l'obtenir dynamiquement à partir de l'API. De cette façon, si vous changez de fournisseur d'accès un jour (bien que l'optionipipgo(suffisamment bons pour être utilisés) et ne se grattent pas la tête.