File d'attente distribuée en pratique : Celery + Redis millions de gestion d'URL

Quand le crawler rencontre l'IP proxy : comment jouer à la tâche d'un million de dollars sans planter ?

Les frères chargés de la collecte des données doivent comprendre qu'il est difficile d'écrire un script de crawler et que les résultats ne font qu'apparaître sur le site cible dont l'adresse IP est bloquée. À ce moment-làFile d'attente de tâches distribuées + pool d'IP proxyLa combinaison des coups de poing va s'avérer utile, prenons Celery + Redis aujourd'hui cette paire de partenaires en or pour dire.

Tri express Traitement des tâches

Celery est comme une trieuse intelligente qui distribue automatiquement les livraisons provenant de différentes régions vers différents tapis roulants (Worker nodes). Mais il y a un piège dont il faut être conscient :Tous les trieurs (travailleurs) ne doivent pas récupérer les livraisons à la même porte (adresse IP).Sinon, le propriétaire de la scène (le site cible) vous débranchera en quelques minutes.

Il est temps de sortir nosipipgo dynamic proxy poolCela revient à avoir des combinaisons (adresses IP) différentes pour chaque trieuse. Voir ce tableau pour la configuration exacte :

L'astuce anti-encapsulation du céleri

Enfouir un crochet dans le décorateur de tâche pour changer automatiquement l'IP avant chaque exécution de la tâche. une châtaigne :

@task(bind=True)
def crawl_url(self, url).
    current_ip = ipipgo.get_proxy() Appeler l'API d'ipipgo ici.
    headers = {'X-Forwarded-For' : current_ip}
     N'oubliez pas d'ajouter un mécanisme de relance en cas d'exception

Attention à ne pas le manger comme un sushi rôti.Demande d'intervalle aléatoireN'envoyez pas de demandes comme si vous aviez faim depuis trois jours. Il est recommandé d'ajouter rate_limit dans la configuration de Celery, par exemple, jusqu'à 60 fois par minute.

Redis Storage Riot Operations

Il n'est pas possible de stocker des millions d'URL en mémoire.la grande loi de séparation (GLOS): :

• Banque 0 : file d'attente à capturer (à l'aide de la structure List)
• Banque 1 : Tâches en cours (triées par horodatage)
• Banque 2 : file d'attente des tentatives d'échec (la structure de hachage contient le nombre de tentatives)

La clé consiste à prendre l'empreinte digitale de chaque URL et à utiliser MD5 pour générer un identifiant unique afin d'éviter la collecte en double. C'est un peu comme le numéro de commande d'un service de messagerie, qui permet d'éviter de trier deux fois le même colis.

Journal d'un arrêt au stand dans la vraie vie

Je suis tombé dans le panneau l'année dernière, alors que j'aidais une société de commerce électronique à surveiller ses concurrents :

1. Exécuté directement sans échauffement de la période d'enquête, le résultat a déclenché le contrôle du vent.
2. Un mécanisme de retest trop agressif conduit à une avalanche
3. Le type d'IP proxy est une perte d'argent

remplacé parPaquet de routage intelligent d'ipipgoCe n'est qu'à ce moment-là que le problème est résolu et que sa famille peut automatiquement faire correspondre la salle de serveurs ou l'IP résidentielle au site web ciblé, ce qui est beaucoup plus simple que de le jeter soi-même.

séance de questions-réponses

Q : Que dois-je faire si l'adresse IP de mon proxy est souvent invalide ?
A : Élection de soutienfacturation à la demandeLe fournisseur de services, tel que le modèle de paquet de trafic d'ipipgo, utilise autant que possible sans gaspiller. En même temps, vous devriez mettre en place un mécanisme pour éliminer automatiquement les IP non valides, comme ceci :

def check_proxy(ip).
    try.
        requests.get('http://check.ipipgo.com', proxies={'http' : ip}, timeout=5)
    except : ipipgo.report_failure
        ipipgo.report_failure(ip) signale l'IP problématique

Q : Comment contrôlez-vous les coûts des agences ?
R : Trois astuces : ① fixer un nombre raisonnable de concurrences ② faire la distinction entre les ressources statiques et les interfaces dynamiques ③ utiliser l'outil de gestion des ressources statiques.Procuration régionale dirigée pour l'ipipgoC'est comme commander un plat à emporter, il n'est pas nécessaire de payer la livraison dans tout le pays.

derniers mots

Un crawler distribué, c'est comme ouvrir une chaîne de magasins de thé au lait, Celery est la cuisine centrale, Redis est le système de distribution, l'IP proxy est la licence d'exploitation de chaque magasin. Si vous êtes trop paresseux pour lancer votre propre licence (pour maintenir le pool de proxy), il suffit de chercher l'optionipipgoN'est-il pas agréable de gagner du temps pour développer quelques thés au lait en pop-up (produits de données) avec une agence aussi professionnelle ?