Modèle de crawler Python open source : rotation de proxy intégrée + reconnaissance CAPTCHA

C'est peut-être le modèle de crawler Python le plus facile à utiliser que vous ayez jamais vu !

Les vieux briscards engagés dans le crawling comprennent que le plus gros casse-tête est le blocage de l'IP et l'interception du CAPTCHA. Aujourd'hui, nous ne parlons pas de faux, mais directement de la solution. Tout d'abord, j'aimerais vous parler d'un cas réel : la semaine dernière, un frère d'un système de comparaison de prix a été bloqué pendant une demi-heure par un crawler ordinaire, qui a bloqué 20 adresses IP ; remplacé par notre programme de rotation des agents, il a fonctionné pendant trois jours sans se retourner.

Proxy IP : comment jouer à ne pas rouler sur l'or

Beaucoup de débutants pensent qu'il suffit de trouver quelques agents libres pour les utiliser, et le résultat est que le code s'exécute avec un délai d'attente ou est bloqué. En voici quelques-unsune leçon apprise dans le sang et les larmes: :

• N'utilisez pas les listes de proxy disponibles sur le web, 99% n'est pas valide.
• N'utilisez pas une seule IP pendant plus de 5 minutes, le site web n'est pas stupide !
• N'oubliez pas d'effectuer des tests préalables sur la qualité de la propriété intellectuelle et n'attendez pas que des erreurs soient signalées pour les traiter.

recommandéInterface de programmation intelligente pour ipipgoLes IP fraîches que vous pouvez utiliser lorsque vous les obtenez directement. Le format de retour de leur API est le suivant :

{
  "proxy" : "123.45.67.89:8000",
  "expire_time" : 300,
  "region" : "Shanghai"
}

Intégration pratique des systèmes d'exploitation

Un modèle de code vivant est donné ici, en se concentrant sur la section de gestion des agents :

from ipipgo_client import IPPool Il s'agit de leur SDK maison

def get_proxy() :
    pool = IPPool(api_key="votre clé")
    return pool.get(protocol='http', count=5) Prend 5 pièces de rechange à la fois

N'oubliez pas de changer aléatoirement User-Agent dans l'en-tête de la requête, ce formulaire est couramment configuré :

Le cassage de Captcha dans la nature

Ne croyez pas à l'existence d'une bibliothèque de reconnaissance universelle, la plus stable en situation réelle est la bibliothèqueddddocr+Codage humainCombo. Lorsque la reconnaissance échoue plus de 3 fois, le système appelle automatiquement la fonctionAgence résidentielle High StashSi vous devez changer l'adresse IP d'une personne réelle, vous pouvez réessayer. Voici un conseil : enregistrez la valeur de hachage de l'image CAPTCHA et vérifiez directement dans le cache les occurrences répétées.

Pourquoi recommandez-vous ipipgo ?

Trois avantages importants liés à l'utilisation de leur logement pendant plus de deux ans :

1. Les pools d'IP dédiés ne sont pas dilués, chaque fois que vous en obtenez un, il est inutilisé.
2. La vitesse de réponse est contrôlée dans les 200 ms, soit deux fois plus vite que de nombreux homologues.
3. Il existe des formules spécialisées d'optimisation des robots d'indexation qui prennent en charge le paiement à la séance.

J'ai récemment découvert une nouvelle fonctionnalité : dans les paramètres du backendStratégie de distribution géographique de la PIL'adresse IP peut être spécifiée pour n'être activée qu'à certaines heures, ce qui est utile pour les voleurs qui veulent agir au moment opportun.

Foire aux questions QA

Q : Que dois-je faire si mon IP proxy tombe soudainement en panne ?
A : Activez le mode de rafraîchissement automatique dans la console ipipgo, définissez la quantité de redondance de 10% et basculez automatiquement lorsque des anomalies sont détectées.

Q : Vous n'arrivez pas à augmenter le taux de reconnaissance du CAPTCHA ?
R : Essayez de transformer l'image en niveaux de gris, puis de la binariser, le taux de précision peut être amélioré de 30%. La reconnaissance de l'IP de la salle des serveurs d'ipipgo est plus difficile que celle de l'IP résidentielle, il est recommandé de donner la priorité à l'utilisation des ressources du réseau mobile.

Q : Comment choisir le meilleur rapport qualité-prix pour mon paquet ?
R : Le volume de données de crawling de la sélection de forfaits mensuels illimités, les tests à petite échelle avec la facturation par temps. Les nouveaux utilisateurs n'oublient pas de prendre un coupon d'expérience de 5 yuans, suffisant pour exécuter 20 000 requêtes.

Enfin, pour dire la vérité : n'attendez pas d'un ensemble de programmes qu'ils dévorent le monde entier, le site de contrôle des vents change tous les jours. Avec ipipgo est principalement un chiffre de la tranquillité d'esprit, il y a des problèmes techniques peuvent être directement à leurs ingénieurs, la vitesse de réponse que certaines des grandes entreprises beaucoup plus rapide. Les modèles de code que je mets sur GitHub, la recherche "crawler anti-blocking practice" peut être trouvée, n'oubliez pas de pointer une étoile.