Système d'exploration distribué : cas pratique de Celery

Le céleri rencontre le proxy IP, le problème de la capture des données est résolu !

Les amis qui font du crawl de données comprennent que le crawler autonome est comme boire du thé au lait de perle avec une paille - aspirer vers l'arrière, il reste toujours un tas de perles à aspirer. Cette fois, nous devons sortir du système de crawling distribué, et Celery, cet outil de file d'attente de tâches, est sans aucun doute une bonne aide. Mais aujourd'hui, nous nous concentrons sur la façon de lui donner avec un proxy IP ce "plug-in", en particulier avec le service ipipgo pour briser le goulot d'étranglement de la capture.

Pourquoi dois-je utiliser une adresse IP proxy ?

Prenons un cas concret : l'année dernière, une équipe s'est lancée dans la comparaison des prix du commerce électronique, son cluster Celery capturant chaque jour 3 millions de données sur les produits de base. C'est ainsi qu'un jour, elle s'est soudainement aperçue queLe site cible a bloqué tous leurs segments IP.L'entreprise a tout simplement fermé ses portes. Il s'agit là d'une leçon typique de "mettre ses œufs dans le même panier".

C'est là que les pools d'adresses IP résidentielles dynamiques d'ipipgo s'avèrent utiles. Leurs services sont pris en charge :

Configuration pratique de Celery + Proxy IP

Voici un conseil pratique :Ne pas écrire la configuration du proxy dans le code! La bonne chose à faire est de gérer cela avec des variables d'environnement :

 Dans la configuration de Celery
BROKER_URL = 'redis://localhost:6379/0'
IPIPGO_PROXY = os.environ.get('IPIPGO_PROXY')

Passez ensuite le paramètre de cette manière lors du démarrage du travailleur :

IPIPGO_PROXY="http://user:pass@gateway.ipipgo.com:9021" celery -A proj worker

L'avantage est que vous n'avez pas à modifier le code lorsque vous changez de proxy, ce qui est particulièrement intéressant pour les personnes qui ont besoin deRotation IP multigéographiquescénarios. L'API d'ipipgo peut générer directement des adresses IP de sortie pour différentes villes, ce qui est particulièrement utile pour les projets qui doivent simuler la distribution d'utilisateurs réels.

Un guide pour éviter le gouffre (Sang et larmes)

1. Ne soyez pas radins et n'utilisez pas de proxies gratuitsComme nous l'avons vu précédemment, le temps de réponse moyen des proxies gratuits est de plus de 8 secondes, tandis que les lignes premium d'ipipgo peuvent être activées en 1,2 seconde.

2. mettre en place un mécanisme de relance raisonnable : il est recommandé d'utiliser un algorithme de backoff exponentiel, comme celui-ci :

@task(
    autoretry_for=(TimeoutError, ),
    retry_backoff=30,
    max_retries=3
)

3. Les tests de qualité de la propriété intellectuelle ne doivent pas être sous-estimésLe backend d'administration d'ipipgo est en fait doté de cette fonctionnalité, mais il est plus sûr d'écrire votre propre double assurance.

Questions et réponses pratiques AQ

Q : Comment Celery Cluster gère-t-il un grand nombre d'IP proxy ?
R : Nous recommandons d'utiliser redis pour la file d'attente du pool d'IP, avec un script lua pour réaliser une opération atomique. L'API ipipgo peut directement renvoyer plusieurs IP, avec la commande RPUSH dans la file d'attente sur la ligne !

Q : Que dois-je faire si je rencontre un CAPTCHA ?
R : Il faudra le faire en conjonction avec le programme de l'ipipgo.IP statique de longue duréeup. Fixer les tâches qui nécessitent la reconnaissance du CAPTCHA à une IP spécifique pour le traitement ultérieur de la plate-forme de codage.

Q : Comment tester l'effet réel de l'agent ?
R : créer son propre service de détection, visiter régulièrement le site http://httpbin.org/ip. Les utilisateurs d'ipipgo peuvent directement utiliser l'interface de détection qu'ils fournissent, les informations de retour peuvent être consultées dans la période de validité restante de l'IP.

Pourquoi ipipgo ?

J'ai fini par l'arrêter après avoir fait appel à sept ou huit services d'agences pour trois raisons principales :

1. DédiéOptimisation de l'exploration des donnéesContrairement à certains fournisseurs de services qui mélangent le trafic des robots d'indexation avec celui des utilisateurs réguliers
2. La réponse du service client est rapide, la dernière fois que j'ai rencontré l'IP ne peut pas se connecter, 10 minutes pour changer le nouveau canal !
3. Des tarifs transparents, sans pièges cachés, et un modèle de facturation à l'utilisation qui convient particulièrement aux petites équipes.

Ils ont récemment sorti un nouveauRémunération au succèsLe modèle de l'échec du crawl n'est pas facturé, ce qui est une aubaine pour les projets qui ont besoin de contrôler les coûts. Si vous avez besoin d'expérimenter, vous pouvez aller directement sur le site officiel pour obtenir un essai de 3 jours, n'oubliez pas de choisir "crawler distribué spécial" dans ce package.

Une dernière chose à savoir : plus il y a de travailleurs du céleri, mieux c'est. En règle générale.2 à 3 travailleurs par cœur d'unité centraleLa solution la plus rentable consiste à combiner la taille du pool d'IP d'ipipgo. Par exemple, une machine à 8 cœurs avec 20 travailleurs, tout en maintenant 50 IP disponibles, ce ratio a été vérifié par un certain nombre de projets, l'efficacité du crawling peut être améliorée de plus de 4 fois.