Web Crawler Framework : l'architecture de Scrapy expliquée

À quoi ressemble le "squelette" du cadre Scrapy ?

Décortiquons la coquille de Scrapy pour y jeter un coup d'œil, cette chose est essentiellement une usine à chaîne de montage. Le crawler démarre avec start_urls et saisit les données, tout comme un trieur de courrier, et les traite par le biais de téléchargeurs, d'intergiciels et de pipelines. En voici une froide :Le logiciel intermédiaire de téléchargement est le lieu où se cachent les IP de proxyLes 90 % de nouvelles mains ne s'y retrouvent pas.

Pourquoi les adresses IP proxy deviennent des réservoirs d'oxygène pour les robots d'indexation ?

Pour donner un cas réel : un site de commerce électronique chaque heure pour sceller 300 IP, ne pas utiliser le proxy, votre crawler ne peut pas survivre à un épisode. ipipgo dynamique proxy résidentiel pool, chaque demande automatiquement changer IP, comme le crawler installé innombrables cascadeur. Nous allons vous enseigner une méthode sauvage : l'authentification par proxy écrite en tant qu'intergiciel (middleware) :

classe ProxyMiddleware(objet).
    def process_request(self, request, spider) : proxy = "".
        proxy = "http://user:pass@gateway.ipipgo.com:9020"
        request.meta['proxy'] = proxy

Réglage pratique des paramètres du proxy de Scrapy

Ne vous fiez pas à la documentation officielle, il existe un moyen de le configurer en pratique. L'ajout de ces lignes à settings.py est la solution :

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware' : 400,
    'votre_projet.middlewares.ProxyMiddleware' : 100
}

IPIPGO_API = "https://api.ipipgo.com/getproxy?type=json&count=5"

N'oubliez pas de stocker la clé API pour ipipgo dans une variable d'environnement, ne soyez pas stupide et ne l'écrivez pas à mort dans votre code. Il est recommandé d'utiliserDélai aléatoire + tentative automatiqueCe mécanisme, associé au système de commutation en 5 secondes d'ipipgo, permet à l'effet anti-blocage d'être pleinement efficace.

Les trois pièges de l'utilisation de la propriété intellectuelle par procuration (avec un guide pour y échapper)

Cinq questions sur l'âme que se posent fréquemment les Blancs

Q : Est-il possible d'utiliser une procuration gratuite ?
A : Mon frère, as-tu déjà vu un repas Michelin préparé à partir de feuilles pourries ramassées sur un marché alimentaire ? Le pool exclusif de propriété intellectuelle d'ipipgo est la meilleure façon de procéder.

Q：Pourquoi le proxy ne prend-il pas effet après que je l'ai configuré ?
R : Vérifiez d'abord l'ordre de l'intergiciel, puis capturez le paquet pour voir le champ X-Forwarded-For dans l'en-tête de la requête. Le panneau de contrôle ipipgo dispose d'une surveillance du trafic en temps réel.

Q : Dois-je maintenir mon propre pool d'adresses IP ?
R : Ce n'est pas comme ouvrir une porcherie, ipipgo est livré avec plus de 20 millions de pools d'adresses IP dynamiques et prend également en charge la personnalisation par zone géographique, ce qui vous permet de gagner du temps !

Q : Que dois-je faire en cas de vérification humaine ?
R : L'approche double d'ipipgo, à savoir le proxy résidentiel et l'émulation de l'empreinte digitale du navigateur, a été personnellement testée pour contourner le CAPTCHA de 90%.

Q : Comment vérifier l'efficacité de l'agent ?
A : Imprimer response.meta['proxy'] dans la méthode parse, ou vérifier le journal d'utilisation dans le backend ipipgo.

Mettre une "cape d'invisibilité" sur un reptile.

Enfin, j'aimerais partager un plan de configuration : connecter l'API d'ipipgo au système de planification automatique, avec simulation d'UA aléatoire et de trace de souris. N'oubliez pas d'ajouter un module d'alarme automatique dans l'extension scrapy, lorsque le taux d'échec des IP dépasse 10%, il faut automatiquement changer de paquet. Ce match down, votre crawler peut être comme un gopher comme dans le site cible vers et depuis le libre.

Pour être honnête, l'IP du proxy est bien choisie, le crawler commence à travailler tôt. J'ai utilisé l'édition entreprise d'ipipgo pour savoir ce que signifie"Une fois pour toutes".Les équipes qui construisent leurs propres pools de proxy finissent par travailler à la sécurité de la salle des serveurs...