Crawlers conteneurisés : une solution de déploiement en cluster Docker+Scrapy

Lorsque le crawler frappe le contre-crawler, votre IP est-elle correcte ?

Les personnes qui s'adonnent à l'exploration du vieux fer ont certainement déjà vécu une telle scène : hier, un bon script fonctionnait, aujourd'hui, il y a soudain 403. À ce moment-là, ne vous précipitez pas pour écraser le clavier, quatre-vingt pour cent de votre IP est le site regardé. Tout comme vous allez au supermarché pour essayer de manger, les regards des employés se rappellent toujours à vous, le crawler avec une IP fixe à haute fréquence d'accès, le site ne vous bloque pas, vous bloquez qui ?

C'est alors qu'il est temps deLa grande rotation des IP par procurationVenez à la rescousse de la jungle. Comme chaque fois que vous allez au supermarché pour changer de look, afin que le site ne puisse pas reconnaître que vous êtes la même personne. Mais changer manuellement l'IP est trop compliqué, surtout lorsque vous avez besoin d'un crawl de masse - cette fois-ci, nous devons sortir le protagoniste aujourd'hui :Docker+Scrapy Cluster+ipipgo Proxy PoolsCombinaison des Trois Mousquetaires.

Le travestissement des reptiles en trois minutes

Pour commencer, utilisons Docker pour placer le crawler dans des conteneurs. C'est comme déplacer une boîte lors du déploiement, et vous pouvez l'exécuter où vous voulez. Regardez cet exemple de fichier Docker :

FROM python:3.8-slim
RUN pip install scrapy ipipgo-client
COPY . /crawler /app
WORKDIR /app
CMD ["scrapy", "crawl", "target_spider"]

Voici ce qu'il faut faire ! Ajoutez ceci au fichier settings.py de scrapy :

IPIPGO_API = "Votre clé propriétaire".
DOWNLOADER_MIDDLEWARES = {
    'ipipgo.middleware.RotatingProxyMiddleware' : 610
}

Cela permet de changer automatiquement d'adresse IP à chaque requête via le pool de proxy d'ipipgo, plus rapidement qu'une transformation Minute Maid. Le test réel vers le bas, en utilisant sonIP dynamique résidentielle taux de blocage peut passer de 70% à moins de 5%.

Déploiement en grappe de l'opération tartan

Les crawlers autonomes sont comme le Lone Ranger, les clusters sont les Avengers. Obtenez une armée d'araignées avec docker-compose :

N'oubliez pas de configurer le fichier docker-compose.yml dans le répertoirePolitique d'expansion automatique des capacitésSi vous rencontrez un site difficile, invoquez plus de nœuds d'exploration. ipipgo possède une fonction cachée - la fonctionUne propriété intellectuelle géographiquement adaptéeL'adresse IP d'une ville particulière peut être spécifiée, ce qui est particulièrement utile pour les sites web ayant des restrictions géographiques.

Guide pratique pour éviter la fosse

Trois erreurs courantes commises par les débutants :

1. L'IP change trop souvent et est traité comme un robot → le mode Intervalle intelligent d'ipipgo s'ajuste automatiquement
2. Oublié de nettoyer les cookies → ajouter un logiciel intermédiaire qui efface automatiquement les cookies.
3. Paramètres de délai d'attente déraisonnables → Ajustement dynamique en fonction de la vitesse de réponse du site, ne pas utiliser de valeur fixe

Recommandé pour ipipgoOutils de débogage de l'APITestez d'abord la qualité de l'IP, puis déployez par lots sur le cluster. Leur API a un paramètre caché ?protocol=https, qui peut forcer un canal crypté, et la vitesse mesurée peut être aussi rapide que 30%.

Foire aux questions QA

Q : Que dois-je faire si mon IP proxy tombe soudainement en panne ?
R : Le mécanisme d'auto-fusion d'ipipgo basculera vers une nouvelle IP dans les 5 secondes, n'oubliez pas d'activer RETRY_ENABLED dans scrapy !

Q : Comment programmer les nœuds de recherche dans différentes régions ?
R : Définir la variable d'environnement REGION=East China dans docker-compose, puis lire cette variable dans le code pour appeler le paramètre region de ipipgo

Q : Comment réessayer une demande bloquée ?
R : utilisez l'intergiciel scrapy retry avec le callback d'échec d'ipipgo, exemple de code :

def retry_request(request).
    request.meta['proxy'] = ipipgo.get_new_proxy()
    Retourner la demande

Dites quelque chose qui vient du cœur.

Dans le secteur des crawlers, trois parties reposent sur la technologie et sept sur les ressources. Entretenir un pool de mandataires par ses propres moyens revient à élever un étang à poissons, ce qui est à la fois coûteux et chronophage. Faire appel à des services professionnels tels qu'ipipgo équivaut à contracter directement l'ensemble de la zone de pêche. En particulier, leurligne de numérotation mixteLes adresses IP de différents opérateurs peuvent être mélangées de manière aléatoire, et le taux de réussite de la capture peut atteindre 99,2%.

Enfin, voici une astuce : utilisez les logs du crawler avec la surveillance de l'API d'ipipgo pour voir comment chaque IP est consommée en temps réel. Si vous constatez qu'un site est particulièrement difficile d'accès, passez directement à sonHigh Stash Enterprise EditionLes fils qui sont garantis pour que le site cible ne vous reconnaisse pas en tant que crawler.