Tutoriel sur le proxy pool auto-construit : solution Scrapy + Redis

Une équipe d'agents capables de supporter la charge de travail.

Les amis de Crawler comprennent qu'il n'y a pas de pool d'agents fiables, c'est comme faire du vélo sur l'autoroute - on ne peut tout simplement pas rouler. Les proxies gratuits sur le marché sont comme le ciel en juin, qui peut changer à tout moment, et peut être utilisé aujourd'hui mais sera hors service demain. Ici pour donner à tout le monde un truc, avec Scrapy + Redis pour construire un pool d'agent exclusif, et ensuite avec un paquet d'agent ipipgo fiable, pour s'assurer que votre crawler est stable avec l'ancien conducteur conduisant comme.

Tout d'abord, comprenez pourquoi vous devez créer votre propre groupe de serveurs mandataires.

1. L'agent libre est trop douteux.Neuf sur dix sont inutiles, et les autres sont probablement plus lents qu'une tortue.
2. Les agents commerciaux sont trop chersLa facturation basée sur le volume est tellement inamovible que les petits projets ne peuvent pas la supporter !
3. La flexibilité est entre vos mains.Les écrans de télévision sont des éléments essentiels de l'économie nationale : l'écran peut être agrandi ou rétréci à tout moment !

Préparer le début des travaux

En se concentrant sur la configuration d'ipipgo : obtenir l'interface API dans leur backend, il est recommandé de choisir l'optionPackage IP résidentiel dynamiqueCe type d'IP n'est pas facilement reconnaissable en tant que crawler. Faites en sorte que l'interface ressemble à ceci :

http://api.ipipgo.com/get?key=你的密钥&count=50

Quatre étapes pour construire une architecture de base

Étape 1 Acquisition d'agents
Ecrivez un crawler en Scrapy qui se concentre sur la capture de ces trois types de sites :
- Site web de la liste publique de procurations (attention à l'actualité)
- Interface API pour ipipgo (source stable)
- Poste de partage d'agent pour les forums sectoriels (pour prendre le relais)

Étape 2 Redis stocke les données
Configurer la connexion Redis dans settings.py, en suggérant trois bibliothèques :
1. raw_proxies : proxies bruts juste capturés
2. verified_proxies : proxies disponibles vérifiés
3. bad_proxies : listes noires périmées

Troisième étape : obtenir un logiciel intermédiaire de validation.
Ecrivez un middleware personnalisé pour obtenir un proxy aléatoire de Redis avant chaque requête. Voici une astuce : marquez différents proxies, tels que les opérateurs de téléphonie mobile/unicom pour les stocker séparément, vous pouvez les utiliser pour des sites spécifiques.

Étape 4 Stratégie de maintenance dynamique
Organisez deux tâches chronométrées :
- Nettoyage automatique des serveurs mandataires non valides à 6 heures du matin tous les jours
- Test de la qualité de l'agent toutes les 2 heures
Utiliser le mécanisme de planification scrapy-redis pour réaliser une déduplication automatique, c'est particulièrement critique, cela peut sauver beaucoup de choses !

Solutions aux nids-de-poule courants

Q : Que dois-je faire si l'agent tombe soudainement en panne ?
R : ipipgo a une fonction de commutation intelligente, dans les paramètres de l'API ajoutez &auto_switch=1, la rencontre d'une panne change automatiquement l'IP, pro-test efficace !

Q : Que dois-je faire si je suis bloqué pendant que je rampe ?
R : changer le paquet ipipgo en une IP résidentielle dynamique, chaque demande pour un changement aléatoire d'IP, n'oubliez pas de définir l'intervalle de demande dans le code, ne soyez pas trop féroce !

Q : Quel est le problème avec Redis qui utilise toujours la mémoire en rafale ?
R : Il est recommandé de définir la date d'expiration du proxy de façon à ce qu'il soit automatiquement nettoyé s'il dépasse 6 heures. Exécutez-le dans redis-cli :

CONFIG SET maxmemory 500mb
CONFIG SET maxmemory-policy allkeys-lru

Conseils d'entretien

1) Vérifier manuellement le solde du paquet ipipgo une fois par semaine, afin de ne pas couper la nourriture au milieu de son utilisation.
2. dans le cas d'une grande promotion telle que le double onze, l'arrière-plan d'ipipgo permet d'augmenter le nombre de paquets
3. il est recommandé aux projets importants d'acheter leur pool IP exclusif, certes plus cher mais vraiment stable !

Enfin, pour être honnête, le pool de proxy auto-construit nécessite quelques efforts au début, mais il permet de faire des économies. Avec la source de proxy stable d'ipipgo, il peut essentiellement faire face aux besoins quotidiens de collecte de 90%. Si c'est trop difficile, ils ont un programme de proxy pool prêt à l'emploi, remplir une configuration peut être utilisé directement, adapté pour les amis pressés sur le projet.