Crawling Agent : Service professionnel de Crawling Agent

A. Pourquoi votre crawler est-il toujours bloqué ? Essayez cette méthode de saleté

Les amis qui s'adonnent au crawling ont déjà rencontré ce problème : un bon programme vient de s'arrêter soudainement, et l'écran du journal de bord est rempli d'erreurs 403. À ce moment-là, ne vous précipitez pas pour écraser le clavier, quatre-vingt pour cent de votre IP est le site cible de la petite maison noire. Maintenant, le site est très bien, un peu de trafic anormal trouvé sur le sceau IP, que la vérification de la sécurité de la communauté code de santé est également stricte.

Il est temps de faire appel à notre sauveur...IP proxyLa première chose à faire est de mettre un "masque" sur le crawler. En termes simples, il s'agit de donner au crawler un "masque", chaque visite à une adresse IP différente. C'est comme si vous alliez au supermarché pour acheter un nombre limité de produits, chaque fois que vous changez de vêtements pour faire la queue, la caissière ne peut pas être reconnue comme la même personne.

demandes d'importation

 Exemple d'accès proxy pour ipipgo (n'oubliez pas de basculer sur votre propre compte)
proxies = {
    'http' : 'http://用户名:密码@gateway.ipipgo.com:9020',
    'https' : 'http://用户名:密码@gateway.ipipgo.com:9020'
}

response = requests.get('destination URL', proxies=proxies, timeout=10)

Deuxièmement, les trois principales passerelles pour choisir l'IP proxy

Il existe de nombreux fournisseurs de services proxy sur le marché, mais peu d'entre eux sont réellement fiables. Rappelez-vous ces trois conseils de sélection :

Rappel spécial : ne vous contentez pas de regarder le prix bon marché, car les adresses IP de certains agents sont des adresses IP d'occasion éliminées dans les cafés Internet, qui sont encore plus lentes que l'accès à l'Internet par ligne commutée. Les fournisseurs de services professionnels tels qu'ipipgo, dont les IP sont toussalle informatique directement exploitée par la salle des serveurs+haut débit domestiqueMise en commun hybride des ressources pour les profils de vitesse et d'utilisateurs réels.

Troisièmement, la main pour vous apprendre à configurer l'agent crawler

Ici, le framework Scrapy de Python est un exemple, disons un savoir-faire pratique en matière de configuration. Beaucoup de débutants écriront directement un proxy mort dans settings.py, ce qui est dépassé depuis longtemps ! Il faut utiliser un middleware pour changer d'IP dynamiquement.

classe IpipgoProxyMiddleware.
    def process_request(self, request, spider).
        request.meta['proxy'] = 'http://用户名:密码@gateway.ipipgo.com:9020'
         Il est recommandé d'activer la fonction de rafraîchissement automatique de l'IP (configurable dans le backend ipipgo)
        request.meta['dont_retry'] = True 

Prenez soin d'ajouter le code ci-dessus au fichier middlewares.py de votre projet et d'aller dans les paramètres pour activer ce middleware. Si vous utilisez ipipgo, il est recommandé d'activer le middlewareRoutage intelligentle système sélectionnera automatiquement le nœud le plus rapide, ce qui est beaucoup moins gênant que d'interroger soi-même les adresses IP.

Quatrièmement, les compétences privées de l'ingénieur principal

Citez quelques leçons du monde réel que vos pairs ne vous diront pas :

1. N'utilisez pas d'intervalles fixes.Les opérations manuelles ont des pauses aléatoires, il est recommandé de faire des pauses aléatoires entre 0,5 et 3 secondes.
2. Fausses empreintes de navigateurUser-Agent : il doit correspondre à l'ensemble des en-têtes, ne changez pas seulement l'UA sans les autres en-têtes.
3. L'absence de réessai doit être limitéeSi vous échouez 3 fois avec la même IP, vous devriez la changer, vous ne feriez que vous exposer.
4. Faites bon usage des paquets proxy: comme celle d'ipipgoforfait basé sur la quantitéIdéal pour de courtes périodes.abonnement mensuelAdapté à la surveillance à long terme

V. Kit de premiers secours AQ

Q : Que dois-je faire si l'IP proxy ne fonctionne pas après l'avoir utilisé ?
R : Phénomène normal, il est recommandé de définir la fréquence de remplacement automatique. L'arrière-plan d'ipipgo peut être défini toutes les 5 à 30 minutes pour changer automatiquement un lot d'IP, cette fonction est recommandée pour l'ouverture.

Q : Comment puis-je savoir si un agent est très anonyme ?
R : Visitez http://httpbin.org/ip, si l'IP renvoyée est la même que l'IP de votre proxy et qu'il n'y a pas d'en-tête X-Forwarded-For, il s'agit d'un proxy high stash. Tous les proxies d'ipipgo sont en mode high stash par défaut.

Q : Que dois-je faire si je tombe sur un site web où je dois me connecter ?
R : C'est le moment demaintien de la sessionpour permettre à la même IP de traiter continuellement les connexions. L'offre d'IP dédiées d'ipipgo prend en charge cette fonctionnalité, n'utilisez jamais d'IP partagée pour traiter les connexions !

VI. pourquoi recommandez-vous ipipgo ?

Après avoir utilisé de nombreux services proxy, j'ai finalement choisi ipipgo pour trois raisons principales :

1. ils se sont spécialisésItinéraire d'optimisation pour les robotsLa réserve d'adresses IP est complètement isolée des utilisateurs normaux.
2. soutienAttribuer des adresses IP par site ciblePar exemple, un segment IP dédié à un certain est et à un certain trésor.
3) ExclusifDétection de l'état de santé de l'IPFiltrage automatique des adresses IP bloquées
4. la réponse du service clientèle est rapide, la dernière fois que j'ai eu un problème au milieu de la nuit, il y avait en fait un support technique humain

Récemment, ils ont organisé un essai gratuit pour les nouveaux utilisateurs, en s'inscrivant et en obtenant 1G de trafic. Il est recommandé de prendre d'abord cet effet de test, après tout, n'est pas approprié pour avoir à utiliser pour savoir. Quoi qu'il en soit, mon équipe a maintenant plus d'une douzaine de projets de crawler tous coupés à ipipgo, le projet le plus long a couru pendant la moitié d'une année n'a pas renversé la voiture.