Meilleur Crawler Python : Solution Proxy IP intégrée

De nos jours, les robots d'indexation ne peuvent pas vivre plus de trois minutes sans proxy IP.

Les amis des crawlers se sont récemment rencontrés et les salutations ont changé : "Combien de vos IP ont été bloquées aujourd'hui ?" La saisie des données devient de plus en plus difficile, l'IP ordinaire revient à courir nu sur le champ de bataille. Pour citer un cas réel : un programme de surveillance du commerce électronique avec une IP fixe pour attraper le prix, il suffit de courir une demi-heure pour recevoir un avertissement 403, changer l'IP pour continuer à attraper, les résultats de l'autre côté directement bloqué l'ensemble de la section C de l'IP.

L'IP proxy est ce qui renouvelle la vie des crawlers contemporains. Cependant, il existe un ensemble hétéroclite de services de proxy sur le marché.Trois fosses mortellesLe plus souvent, on marche dessus :
1. revendique des millions de pools d'adresses IP, alors que l'utilisation réelle est inférieure à 10%
2. plus lent qu'un paresseux
3. des mécanismes d'authentification aussi complexes que le code Morse

Guide d'adaptation du proxy pour Python Family Bucket

Voyons d'abord le fonctionnement de base. La mise en place d'un proxy avec la bibliothèque requests se renouvelle en trois lignes de code :

demandes d'importation

proxies = {
    'http' : 'http://username:password@gateway.ipipgo.com:9020',
    'https' : 'http://username:password@gateway.ipipgo.com:9020'
}
response = requests.get('destination URL', proxies=proxies)

Mais c'est trop facile d'être reconnu ainsi ! Il faut jouer un petit tour :

de random import choice

ip_pool = [
    'gateway.ipipgo.com:9020',
    'gateway.ipipgo.com:9021', 'gateway.ipipgo.com:9022', 'gateway.ipipgo.com:9022'
    'gateway.ipipgo.com:9022'
]

def random_proxy().
    return {'https' : f'http://用户名:密码@{choix(ip_pool)}'}

 Modifier les ports pour chaque requête
requests.get(url, proxies=random_proxy(), timeout=(3,7))

C'est là que le bât blesse :Les paramètres du délai d'attente devraient être comme un tour de visage de l'opéra du Sichuan.N'utilisez pas de valeurs fixes. Proposez des valeurs aléatoires timeout=(2,5) à (3,7) pour simuler le rythme des opérations d'une personne réelle.

La survie des conducteurs âgés de Scrapy

Pour faire du crawling à grande échelle, il faut aussi regarder du côté de Scrapy. Ajoutez un middleware de proxy dynamique à middlewares.py :

classe RotateProxyMiddleware.
    def process_request(self, request, spider).
        request.meta['proxy'] = 'http://动态验证字符串@gateway.ipipgo.com:9020'
         Il est recommandé d'utiliser le mode tunnel proxy d'ipipgo pour changer l'IP de sortie automatiquement.
        request.meta['download_timeout'] = 8 + random.randint(0,3)

Les paramètres de configuration doivent être joués comme suit :

CONCURRENT_REQUESTS = 32 Ajusté selon le paquet proxy
DOWNLOAD_DELAY = 0.5 + random.random() Délai aléatoire grande méthode
AUTOTHROTTLE_ENABLED = True autotune doit être activé

Cinq indicateurs essentiels pour le choix d'un prestataire de services d'agence

Voici un tableau de comparaison directe pour rendre les choses plus intuitives :

En particulier.clé dynamiqueL'API d'ipipgo peut générer des chaînes d'authentification temporaires toutes les 10 minutes, ce qui est plus de 10 fois plus sûr qu'un compte fixe.

Questions-réponses pour éviter les pièges du monde réel

Q : Que dois-je faire si l'adresse IP de mon proxy est souvent dépassée ?
R : Vérifiez d'abord le type de paquet proxy, ne prenez pas un proxy de courte durée pour une tâche de longue durée. Le paquet business d'ipipgo prend en charge les connexions TCP de longue durée, adaptées aux scénarios d'exploration en continu.

Q : Que dois-je faire en cas de vérification humaine ?
R : Ne vous acharnez pas ! Utilisez la simulation de proxy résidentiel et d'empreintes de navigateur d'ipipgo pour obtenir un taux de réussite de 80 %. N'oubliez pas :La survalidation devrait être une combinaison de coups de poingL'IP seul ne suffit pas.

Q : Comment répartir le dépassement total des frais d'agence ?
R : Dans Scrapy, ajoutez un logiciel intermédiaire de statistiques de trafic, pour un suivi en temps réel de la consommation. L'arrière-plan d'ipipgo a une fonction d'avertissement de dosage, une surcharge rapide enverra un rappel de microblogging.

Une dernière chose à savoir : attention à la pollution DNS, même avec des adresses IP proxy. Il est recommandé de forcer les serveurs DNS à être spécifiés dans le crawler, comme 8.8.8.8 et 114.114.114.114 en alternance. Ce détail est bien géré et peut réduire le problème de l'échec de la résolution 20%.