Éléments fondamentaux de la conception d'une architecture de crawler à haute concordance

I. Pourquoi les rampants se font-ils toujours pincer ? Tout d'abord, il faut comprendre les règles du jeu

Les frères Crawler ont fait l'expérience, au début de la collecte de données, après deux jours, de devenir soudainement404 ProfessionnelC'est comme un marmot. C'est comme le jeu du chat et de la souris : plus vous frappez fort, plus leur bouclier s'épaissit. La logique sous-jacente tient en une phrase :Le serveur qui voit votre accès IP trop souvent, tire directement sur le noir, pas de négociation !.

Par exemple, si vous frappez à la porte de la maison de votre voisin pendant 10 minutes d'affilée, il appellera certainement la police. Si vous passez à un serveur qui détecte les accès fréquents à partir de la même adresse IP, vous pouvez directement bloquer les ports. Cette fois, vous devezDemandez à un groupe de remplaçants de se relayer pour frapper aux portes.--Il s'agit là de la valeur fondamentale de la propriété intellectuelle par procuration.

Deuxièmement, les trois principaux destinataires des crawlers à haute teneur en devises

1. circulation de l'eau vivante dans les piscines IP(plus clairement dans un tableau)

C'est là que le bât blesse.l'effet "eau vive" (c'est-à-dire bénéficier des effets du changement climatique)Le pool d'adresses IP dynamiques d'ipipgo peut remplacer automatiquement plus de 200 adresses IP toutes les 5 minutes, ce qui est 8 fois plus efficace que les pools statiques traditionnels. C'est comme si on installait une porte tournante pour le crawler, les entrées et sorties d'IP ne peuvent tout simplement pas s'arrêter.

2. rythme des demandes

Ne jamais fixer la concurrence àmode électrocardiogramme (ECG)(fluctuation des hauts et des bas). Il est recommandé que leDemande d'impulsionLes règles suivantes s'appliquent : sonder d'abord à un taux de concurrence de 20, augmenter le taux de concurrence de 10 toutes les 30 secondes, et redescendre après avoir atteint le seuil. Cette opération obscure peut faire croire au serveur cible qu'il s'agit d'un trafic naturel.

3. mécanisme de fusion anormal

J'ai vu trop de crawlers bloqués sur l'IP bloquée, et finalement tout s'est effondré. La pratique fiable est la suivante : lorsqu'une seule IP échoue pour trois requêtes consécutives, elle est immédiatement retirée de la file d'attente des tâches en cours, le service d'ipipgo remplit automatiquement la nouvelle IP, l'ensemble du processus dure moins de 0,8 seconde.

III. le guide pour éviter les pièges du combat réel

Récemment, j'ai aidé une société de commerce électronique à surveiller ses concurrents, et elle se voyait bloquer plus de 200 adresses IP par jour lorsqu'elle le faisait elle-même. ipipgo a été utilisé.Politique de routage intelligenteEnsuite, trois ajustements clés :

1. étendre le nombre de User-Agent de 50 à plus de 2000
2. limiter l'accès à 15 pages par cycle de vie de la propriété intellectuelle
3. l'incorporation d'un délai aléatoire de 2 à 8 secondes

En conséquence, le volume d'acquisition de données a directement triplé, et les responsables de l'exploitation et de la maintenance n'ont plus besoin de se lever à 3 heures du matin pour changer l'IP.

IV. l'assurance qualité de la torture de l'âme

Q : Que dois-je faire si je rencontre toujours le CAPTCHA ?
R : Grâce à la combinaison de l'IP d'ipipgo et du mode sans tête de Chrome, le taux de déclenchement du CAPTCHA peut être réduit à 70%. Il est vraiment impossible de contourner la plateforme de codage, ne mourrez pas avec le CAPTCHA.

Q : Vous n'arrivez pas à accélérer l'extraction des données ?
R : Vérifiez si la bande passante de l'IP proxy est en retard. La ligne BGP d'ipipgo peut fonctionner jusqu'à 500 Mbps, soit plus de 20 fois plus vite qu'une ligne domestique ordinaire.

Q : Que dois-je faire si je dois explorer simultanément des sites web nationaux et étrangers ?
R : Cocher directement dans le backend d'ipipgoDes schémas géographiques variésSi vous êtes membre de l'équipe, l'itinéraire optimal vous sera automatiquement attribué. Par exemple, si vous escaladez Amazon, vous pouvez couper l'IP de l'Europe et des États-Unis, et si vous vous engagez dans Taobao, vous pouvez couper l'IP de la salle des serveurs nationaux.

V. Dire la vérité

J'ai vu trop d'équipes dans le matériel sur l'argent, mais ne peut pas se permettre de dépenser une petite somme d'argent pour obtenir une IP proxy. les résultats de la configuration du serveur sur les dizaines de milliers de dollars, l'efficacité du crawler n'est pas aussi bon que le script écrit par les étudiants de l'université. Pour dire un mot d'offense :Une forte concurrence sans le soutien d'un proxy IP fiable revient à utiliser une cuillère qui fuit pour remplir de l'eau, l'épuisement n'est pas suffisant pour remplir..

Enfin, j'aimerais présenter mon propre produit : ipipgo a récemment été mis en ligne !Pack d'essai pour le traficLes nouveaux utilisateurs recevront 5G de trafic gratuitement. Particulièrement adapté aux petites équipes qui ont besoin de vérifier rapidement le programme, après tout, c'est en forgeant qu'on devient forgeron, il suffit de regarder les tutoriels pour ne pas manipuler les hooligans.

(conclu)