Adresse IP Router : Distributed Crawler Core

I. Pourquoi votre crawler est-il toujours bloqué ? Essayez d'installer un "changeur de visage" pour votre machine.

Les frères qui font de la collecte de données devraient avoir rencontré cette situation : il suffit de construire un script de crawler, puis le site cible vous donnera un visage pour bloquer l'IP, c'est la même chose que nous allons au supermarché pour essayer d'être reconnus, toujours attraper le même visage pour faire dur, qui peut le supporter ? Cette fois-ci, vous devez installer un crawlerRotation de l'adresse IPIl faut que ce soit comme un changement de visage à l'opéra du Sichuan, avec un nouveau visage de temps en temps.

Un crawler autonome traditionnel revient à prendre un laissez-passer fixe pour entrer dans la salle, et le plus souvent, l'agent de sécurité vous arrêtera. Le crawler distribué avec rotation d'IP, équivaut à ce que chaque petit frère du crawler reçoive un laissez-passer différent. Par exemple : nous utilisons le pool d'IP dynamiques d'ipipgo, chaque demande pour une IP de sortie différente, le site ne peut pas faire la distinction entre les visites de personnes réelles et la collecte de données par des machines.

importation de requêtes
from itertools import cycle

 Interface proxy fournie par ipipgo
PROXY_API = "https://api.ipipgo.com/getproxy?type=http"

def get_proxies() :
    response = requests.get(PROXY_API)
    return [f "http://{ip}" for ip in response.json()['proxies']]

proxy_pool = cycle(get_proxies())

for _ in range(10) : proxy = next(proxy_pool)
    proxy = next(proxy_pool)
    try : response = requests.get('destination URL')
        response = requests.get('destination URL', proxies={"http" : proxy})
        print(f "Les données ont été récupérées avec succès à l'aide de {proxy}")
    except.
        print(f "Échec de {proxy}, passage automatique au suivant")

Deuxièmement, le choix d'un proxy IP est comme l'achat de nourriture : ces trois fosses ne doivent pas être piétinées.

Le marché est un mélange de services d'agences et les débutants sont susceptibles de tomber dans ces pièges :

Note spéciale : ipipgo'sMécanisme de fusion intelligentTrès pratique. Lorsqu'une IP échoue trois fois de suite, le système extrait automatiquement les deux heures noires, ce qui est beaucoup plus efficace qu'une enquête manuelle. C'est comme si l'on installait un radar d'évitement d'obstacles pour la chenille et qu'elle faisait automatiquement demi-tour lorsqu'elle rencontrait un obstacle.

Troisièmement, la main pour vous apprendre à faire correspondre un "splitter" du crawler

La configuration d'un crawler distribué n'est pas aussi compliquée que vous le pensez, rappelez-vous ces trois étapes essentielles :

1. les éléments constitutifs des nœuds: Déploiement d'instances de crawler sur 5 serveurs avec Docker, pas tous dans la même salle de serveurs.
2. Installation de l'ordonnanceur de fluxChaque instance monte le logiciel intermédiaire de proxy d'ipipgo.
3. Établissement d'une règle de rotationLa fonction de commutation est activée par l'intermédiaire de la fonction de commutation du site : réglage d'intervalles de commutation allant de 1 à 5 minutes en fonction de l'intensité de l'anti-escalade du site cible.

Test case : un projet de surveillance des prix dans le commerce électronique, avant et après l'utilisation de la comparaison ipipgo :

Quatre, l'ancien conducteur ne connaît que les techniques d'optimisation des performances

Ne pensez pas que tout va bien lorsque vous mettez sur l'agent, ces détails ne font pas attention à la voiture comme d'habitude :

- Aperçu de l'IPLes nouveaux arrivants dans la piscine doivent d'abord faire 20 minutes de requêtes à basse fréquence, et ne pas se contenter d'aller frapper.
- correspondance des protocolesLes sites web https doivent utiliser un proxy https, n'essayez pas de vous épargner des problèmes en utilisant http.
- géostratégieLes IP locales pour les sites nationaux et les nœuds à l'étranger pour les opérations transfrontalières.
- camouflage de la circulationLes agents d'utilisateurs : Générer des agents d'utilisateurs aléatoires, ne pas rendre les en-têtes trop propres !