Système de surveillance et d'alerte du crawler : Prometheus+Grafana Performance Kanban

Crawler bros look over here ! Les mains dans le cambouis avec un système de surveillance pour garder son emploi !

Récemment, un ami commerçant en ligne s'est plaint à moi que son programme de crawler ne bougeait pas pour être bloqué sur l'IP, que les données ne capturaient pas grand-chose, que l'exploitation et la maintenance devaient tous les jours faire des heures supplémentaires pour réparer la machine. Cette scène ne vous est pas particulièrement familière ? Pas de panique, aujourd'hui pour donner à tout le monde une astuce, avec leProméthée+GrafanaMettez en place un chien de garde et un service IP proxy fiable, et vous aurez la garantie d'avoir un crawler aussi stable qu'un vieux chien.

Tout d'abord, les trois principaux problèmes liés à la surveillance des robots d'indexation

1. Les IP meurent rapidement.Le site web est en train de se faire brosser dans le sens du poil par un seul IP, ce qui lui vaut d'être placé sur la liste noire en quelques minutes !
2. Répond comme un escargotLorsque le site cible est pompé, le programme est toujours silencieux, etc.
3. Non-alarme anormaleLe programme est tombé en panne au milieu de la nuit et a été découvert le lendemain au travail.

Concentrez-vous sur la question de l'IP. J'ai déjà vu des gens utiliser des proxys gratuits, et 8 IP sur 10 ne fonctionnaient pas. Plus tard, ils ont changéipipgoLe pool IP exclusif, le taux de survie tire directement vers 95% ou plus, comment opérer les détails spécifiques plus tard.

Deuxièmement, le système de surveillance doit permettre de mettre en place un système en quatre parties.

Étape 1 : Installation de Prometheus
Exécutez cette chaîne de commandes sur le serveur (n'oubliez pas de changer votre IP) :

wget https://prometheus.io/download/
tar xvfz prometheus-.tar.gz
. /prometheus --config.file=prometheus.yml

Étape 2 : Configuration du collecteur
Un nouveau.crawler.ymlqui met l'accent sur le suivi de ces indicateurs :

Étape 3 : Configuration de Grafana Kanban
Importer l'ID du modèle officiel13659Modifiez ensuite les graphiques en fonction de vos besoins. Il est recommandé de mettreNombre de commutateurs IPrépondre en chantantdemandantCréez un graphique et observez d'un coup d'œil les fluctuations inhabituelles.

Étape 4 : Intégration de l'IP Proxy
Recommandé iciInterface API pour ipipgoexemple de code :

import ipipgo
proxy = ipipgo.get_proxy(
    type='https',
    region='us'
)
requests.get(url, proxies=proxy)

Trois conseils pour la conception Kanban

1. Avertissement rouge, jaune et vertCode couleur des conditions normales, d'avertissement et de défaut
2. Comparaison des tendances historiquesLa semaine dernière : Mise en relation des données du jour avec celles de la même période de la semaine précédente
3. carte géothermiqueLa Commission européenne a également publié un rapport sur l'état d'avancement de la mise en œuvre de l'accord de partenariat et de coopération.

Pour citer un cas concret : un client de commerce électronique transfrontalier a utilisé notre solution, le temps de dépannage IP deMoyenne 45 minutesraccourcir à5 minutes ou moinsLe système d'alarme en temps réel du tableau Kanban.

IV. questions fréquemment posées AQ

Q : Pourquoi dois-je utiliser une adresse IP proxy ?
R : Tout comme les automobilistes qui doivent changer de pneus, les crawlers doivent changer d'adresse IP pour mener une guerre de longue durée. En particulier avec lesAgent résidentiel pour ipipgoIl n'est pas facile d'être bloqué par un camouflage plus important.

Q : À quelle fréquence les données de surveillance sont-elles mises à jour ?
R : Il est recommandé de définir un intervalle de collecte de 15 secondes, un intervalle trop fréquent affectera les performances du programme, un intervalle trop long ne permettra pas d'obtenir un rapport anormal.

Q : Quels sont les avantages exclusifs d'ipipgo ?
A : Ils l'ont à la maisonLa période d'enquête sur le logement dans la vie réelleNous prenons en charge la personnalisation à la demande des zones géographiques, et le taux de réussite des appels API a été mesuré à 99,2%, ce qui est le niveau le plus élevé de l'industrie.

V. Lignes directrices pour éviter les pièges

1) Ne mettez pas Prometheus et les crawlers sur le même serveur, il est facile de se battre pour les ressources.
2) Lors de la définition des règles d'alarme, n'oubliez pas d'ajouterConditions de duréeÉviter les fausses alarmes en cas de fluctuations occasionnelles
3. nettoyage périodique des données historiques, une période de conservation de 7 jours étant recommandée.

Une dernière chose à savoir : l'utilisation deFonction de port dynamique de l'ipipgoLa première étape consiste à rendre possible la simultanéité d'un seul IP et de plusieurs canaux, et cette technique est utilisée par de nombreux vieux oiseaux. Des opérations spécifiques peuvent trouver leur technologie d'origine pour les documents de cas, la pro-mesure peut améliorer l'efficacité de la capture 20%.

C'est une solution que nous avons déployée dans plus de 30 entreprises et qui est essentielle pourChoisir le bon agent + faire un bon travail de suivi des liens.. N'hésitez pas à laisser un commentaire si vous avez des questions spécifiques et je vous répondrai quand j'aurai le temps.