Combat de crawlers Python : BeautifulSoup crawl rapide de données web

Des exercices pratiques vous apprennent à utiliser le proxy IP pour éviter les pièges anti-escalade.

Récemment, un certain nombre de vieux fer à repasser pour faire de la capture de données avec moi se sont plaints que l'utilisation de BeautifulSoup de Python pour capturer des données est toujours bloquée par l'IP du site. cette chose, c'est la même chose que de jouer le jeu a été interdit numéro une raison -.Le site surveille que vous envoyez trop de demandes dans un court laps de temps.La première chose à faire est d'utiliser une IP proxy pour déguiser votre identité réelle. Cette fois-ci, il est nécessaire de s'appuyer sur une IP proxy pour masquer l'identité réelle, le pool d'IP dynamiques ipipgo home ayant été testé pour pouvoir supporter 8 heures en continu des requêtes à haute fréquence.

Tout d'abord, une connaissance froide pour le néophyte : de nombreux sites Web ont un mécanisme anti-escalade qui compte la fréquence des visites sur une seule IP. Lorsque vous utilisez votre propre haut débit à domicile pour envoyer une requête, il ne faut pas attendre une demi-heure pour qu'elle soit inscrite sur la liste noire. L'année dernière, il y a eu une comparaison de commerce électronique entre amis, parce qu'il n'y avait pas de proxy suspendu, l'IP du réseau de l'entreprise a été bloquée pendant trois jours, le patron l'a presque laissé compenser les frais d'accès à la large bande.

Configuration pratique du fonctionnement du proxy IP tao

Commencez par charger l'indispensable costume trois pièces :

C'est là que le bât blesse ! Le service proxy avec ipipgo doit être configuré comme suit :

import requests
from bs4 import BeautifulSoup

proxies = {
    'http' : 'http://用户名:密码@gateway.ipipgo.com:端口',
    'https' : 'http://用户名:密码@gateway.ipipgo.com:端口'
}

headers = { 'User-Agent' : 'Randomly generated UA'}
response = requests.get('Target URL', proxies=proxies, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

Voici un piège à éviter :N'oubliez pas d'utiliser urllib.parse.quote si votre mot de passe contient des symboles spéciaux.J'ai eu un frère qui ne pouvait pas se connecter au proxy sans que le symbole @ soit encodé. J'ai eu un frère qui ne pouvait pas se connecter au proxy lorsque le symbole @ n'était pas transcodé, et il a fallu deux heures de dépannage pour trouver le problème.

Un jeu avancé sur la rotation dynamique des adresses IP

S'appuyer sur une IP proxy n'est pas assez stable, il faut apprendre à jouer.Rotation du pool d'adresses IPL'interface API d'ipipgo permet d'obtenir directement la dernière liste d'adresses IP et d'utiliser ce script pour effectuer une commutation automatique :

import random

def get_ip_list().
     Appelle l'API ipipgo pour obtenir la dernière liste d'adresses IP.
    return [
        '111.222.33.44:8000',
        '112.233.45.67:8080', ...
         ... Autres IP
    ]

current_ip = random.choice(get_ip_list())

Il est recommandé de changer d'adresse IP toutes les 30 à 50 requêtes, afin de ne pas déclencher facilement l'anti-escalade, mais aussi de maintenir l'efficacité de la collecte. Testé avec cette méthode, un site de commerce électronique a pu collecter 30 000 données consécutives sur des produits de base sans être renversé.

Un guide du débutant pour éviter les pièges

1. N'utilisez pas de proxies gratuits pour des raisons de coûtNeuf sur dix de ces adresses IP publiques gratuites sont des pires, soit qu'elles sont lentes, soit qu'elles ont été retirées du site il y a longtemps.
2. le site HTTPS doit correspondre à l'agent de protocole https, la non-concordance de protocole signalera des erreurs SSL
3. Erreur 403 : vérifiez d'abord que l'agent utilisateur n'a pas changé de façon aléatoire.
4. la collecte de données importantes est recommandée avec l'ensemble IP exclusif d'ipipgo, la stabilité tirant directement l'ensemble des données.

Foire aux questions QA

Q : Que dois-je faire si l'IP de mon proxy est lente ?
R : Choisissez le nœud le plus proche du serveur cible. Par exemple, si vous collectez des sites web dans le nord de la Chine, choisissez le nœud de la salle des serveurs d'ipipgo à Pékin.

Q : Comment puis-je savoir si une procuration est en vigueur ?
R : Utilisez requests.get('http://httpbin.org/ip') pour voir si l'adresse IP renvoyée a changé.

Q : À quoi dois-je faire attention lorsque je démarre plusieurs fils de recherche en même temps ?
R : Chaque thread doit se voir attribuer une IP proxy différente. Il est recommandé d'utiliser le module d'autorisation simultanée d'ipipgo, qui permet à plusieurs threads de rechercher des IP différentes en même temps.

Q : Puis-je utiliser à nouveau l'adresse IP bloquée ?
R : L'IP du proxy ordinaire est bloquée, il faut attendre 24 heures, le pool de proxy de haute qualité d'ipipgo filtrera automatiquement l'IP invalide, la mise à jour en temps réel des ressources disponibles !

Enfin, un conseil : n'économisez pas d'argent sur les IP proxy ! J'ai déjà vu des gens acheter des proxy de mauvaise qualité à bas prix, et les données collectées étaient mélangées avec les informations induites des concurrents, ce qui a conduit à une erreur totale dans la stratégie marketing de l'entreprise. Avec le proxy d'entreprise d'ipipgo, des spécialistes sont chargés de vérifier la qualité des adresses IP, ce qui peut éviter bien des problèmes lors du nettoyage ultérieur des données.