Crawler set ip proxy tutorial : Configuration du middleware Scrapy et de la bibliothèque de requêtes

Pratique pour apprendre à connecter une adresse IP proxy au crawler

Les frères crawleurs savent que le mécanisme anti-escalade des sites web devient de plus en plus impitoyable, et qu'il n'est pas question de bloquer l'IP. Aujourd'hui, nous ne parlons pas de faux, directement sur les produits secs, vous apprendre à jouer dans Scrapy et les demandes dans la configuration de l'IP proxy.

I. Secrets de configuration de l'intergiciel Scrapy

Le mécanisme d'intergiciel fourni avec Scrapy est très utile, alors commençons par créer un nouveau fichiermiddlewares.pydans ce code :

classe ProxyMiddleware(objet).
    def process_request(self, request, spider) : proxy = "".
        proxy = "http://用户名:密码@gateway.ipipgo.com:端口"
        request.meta['proxy'] = proxy
         Nous recommandons d'utiliser le proxy résidentiel dynamique d'ipipgo.
         Leur format de proxy est http://用户秘钥@gateway:port

continuer àsettings.pyEnclencher l'interrupteur :

DOWNLOADER_MIDDLEWARES = {
    'yourprojectname.middlewares.ProxyMiddleware' : 543,
}

Attention ! Lors de l'utilisation du proxy ipipgo, n'oubliez pas de mettre l'optionclé d'utilisateurRemplacez-les par vos propres informations d'authentification. Leur proxy dynamique permet de suspendre plus de 500 requêtes en même temps, ce qui convient aux tâches de collecte à grande échelle.

Deuxièmement, demande de jongler avec la configuration de l'agent de bibliothèque

Il est plus facile d'utiliser la bibliothèque des requêtes et d'insérer les proxies dans la requête :

demandes d'importation

proxies = {
    'http' : 'socks5://用户秘钥@gateway.ipipgo.com:端口',
    'https' : 'socks5://用户秘钥@gateway.ipipgo.com:端口'
}

resp = requests.get('destination URL', proxies=proxies)

Voici un piège à éviter :Ne confondez pas les types de protocoles.ipipgo prend en charge les protocoles HTTP et SOCKS5. Si vous accédez à des sites web HTTPS, il est recommandé d'utiliser directement SOCKS5 pour plus de sécurité.

Troisièmement, le guide pratique de la propriété intellectuelle des mandataires pour éviter les pièges

Voici un tableau comparatif des paramètres de configuration pour vous aider à aller plus loin :

IV. kit de premiers secours pour les problèmes courants

Q : Que dois-je faire si je ne peux pas me connecter à l'agent en permanence ?
R : Vérifiez d'abord les paramètres de la liste blanche, ipipgo doit lier l'IP du serveur. Essayez ensuite le test curl manuel :

curl --socks5 gateway:port -U user key destination URL

Q : Comment puis-je savoir que l'agent est en vigueur ?
R : Ajoutez une instruction d'impression au code ou visitez directement le site http://ip.ipipgo.com/checkip pour voir l'adresse IP renvoyée.

Q : Que dois-je faire si je rencontre 403 personnes qui s'opposent à l'escalade ?
R : changer l'agent résidentiel statique d'ipipgo, la durée de survie de l'IP statique peut atteindre 72 heures, ce qui est adapté à la nécessité de stabiliser la scène de la session.

Cinquièmement, pourquoi choisir l'agent ipipgo ?

Cet agent résidentiel dynamique est confronté à trois grands tueurs :

1. Plus de 90 millions d'adresses IP de logements réels, mises à jour automatiquement et quotidiennement
2. Prise en charge de la localisation précise jusqu'au niveau de la ville (par exemple, l'adresse IP de Chicago)
3. Facturé en fonction du trafic réel, utilisez autant que vous le souhaitez sans le gaspiller.

En particulier pour ceux qui pratiquent le commerce électronique transfrontalier, leur domicileAgents résidentiels statiquesVous pouvez directement lier l'IP d'arrière-plan de la boutique, ce qui est une solution parfaite au problème de contrôle du vent du compte. L'enregistrement d'un nouvel utilisateur permet également d'envoyer un essai de trafic 5G, suffisant pour exécuter un petit projet afin d'en tester l'effet.

Enfin, rappelons que le proxy IP n'est pas une panacée, avec l'UA aléatoire, la demande de contrôle de la fréquence de ces moyens pour jouer l'effet maximum. Les problèmes techniques peuvent être résolus directement par l'assistance technique d'ipipgo, la vitesse de réponse étant supérieure à celle de nombreux grands fabricants.