Crawler http proxy ip : Collecte de données Python Tutoriels de configuration de pools d'adresses IP

Tout d'abord, pourquoi votre crawler est-il toujours bloqué ? Comprendre le rôle de l'IP proxy

Les frères Crawler comprennent que le code écrit en dur s'exécute et s'exécute soudainement403 InterditSmash face, on a l'impression qu'un canard cuit s'est envolé. De nombreux débutants pensent que l'ajout d'une UA aléatoire leur permettra de s'en sortir, mais en fait, le mécanisme d'anti-escalade du site a été amélioré pour atteindre la normeNiveau de suivi de l'IPLa même adresse IP demande des données 24 heures sur 24. Imaginez, la même adresse IP qui demande des données 24 heures sur 24, tout comme la même personne qui s'accroupit tous les jours devant le supermarché pour lire la liste des prix, les agents de sécurité ne vous attrapent pas, vous attrapez qui ?

C'est alors qu'il est temps depool d'IP proxyd'être une doublure. Chaque demande d'adresse IP différente équivaut à laisser penser au site qu'il y a d'innombrables utilisateurs ordinaires qui naviguent. C'est comme jouer à un jeu de poule mouillée avec un plug-in furtif (bien sûr, nous sommes légalement conformes), de sorte que le site cible ne peut pas sentir vos mouvements réels.

Deuxièmement, la main avec le pool d'agents : la pratique Python en quatre étapes

En voici une.Programmes à bas seuilqui peut être construit rapidement avec la bibliothèque requests + l'API d'ipipgo :

1. l'accès à des sources fiables de représentation

Au début du code, il faut d'abord importer l'interface de l'agent résidentiel d'ipipgo, sa maisonIP résidentielle dynamiqueCela fonctionne. N'utilisez pas ces proxys gratuits, ils sont lents comme un escargot et peuvent vous conduire dans un trou.

importer des requêtes
api_url = "https://api.ipipgo.com/dynamic" interface IP résidentielle dynamique

2) Encapsulation d'un demandeur intelligent

Mettre un shell sur les requêtes et les changer automatiquement à chaque fois (changement d'IP) :

def smart_request(url).
    proxy = {"http" : api_url, "https" : api_url}
    headers = {"User-Agent" : "Add your own random UA"}
    try.
        return requests.get(url, proxies=proxy, headers=headers, timeout=10)
    except Exception as e.
        print(f "Cette fois, l'IP est probablement morte : {e}")
        return None

3. l'examen de santé en période d'enquête n'est pas une option

fixerMécanisme de liste noire d'adresses IPEn cas de réponse lente ou de défaillance de l'IP, vous pouvez simplement débrancher la prise :

bad_ips = set()

def is_good_ip(ip) :
    test_url = "http://httpbin.org/ip"
    try.
        res = requests.get(test_url, proxies={"http":ip}, timeout=5)
        return res.json()['origin'] == ip.split("@")[-1])
    except.
        bad_ips.add(ip)
        return False

4. s'équiper d'une moissonneuse-batteuse

RecommandéMultithreading + files d'attenteLa combinaison est plus d'un ordre de grandeur plus efficace qu'un seul fil :

from concurrent.futures import ThreadPoolExecutor

def crawl_task(url_queue): : while not url_queue.empty()
    while not url_queue.empty() : url = url_queue.get().
        url = url_queue.get()
        response = smart_request(url)
         Ecrivez votre logique de traitement des données ici
        url_queue.task_done()

Troisièmement, évitez ces fosses et empruntez la route la moins fréquentée pendant trois ans

Pit 1 : Changement d'adresse IP trop fréquent
Certains frères détestent couper 10 IP par seconde, le résultat déclenche la plateformealerte de fréquenceIl est recommandé d'ajuster l'intervalle en fonction des caractéristiques du site cible. Il est recommandé d'ajuster l'intervalle en fonction des caractéristiques du site cible. Un intervalle de 3 à 5 secondes pour la classe "commerce électronique" et de 1 à 2 secondes pour la classe "information" est suffisant.

Puits 2 : Ignorer la correspondance des protocoles
J'ai vu des débutants intégrer des proxys socks5 dans les paramètres http et finir par accuser leur fournisseur d'accès lorsqu'ils ne parvenaient pas à se connecter. Utilisez les proxys d'ipipgoPrise en charge complète du protocoleLorsque vous prêtez attention au type d'interface, leur documentation est très claire.

Fosse 3 : blocage sur une seule IP régionale
Par exemple, si vous collectez des données météorologiques à partir d'un certain endroit, il est inhabituel d'utiliser toutes les adresses IP locales. Pour plus de réalisme, ajoutez d'autres adresses IP régionales, ipipgo's240+ bibliothèques nationalesC'est à ce moment-là qu'il est utile.

IV. kit de premiers secours pour les problèmes courants

Q : Que dois-je faire si le proxy IP tombe soudainement en panne collectivement ?
R : Vérifiez d'abord que l'autorisation du compte est correcte, puis utilisez la fonctionChangement d'itinéraire intelligentFonction. Leurs nœuds d'origine sont dotés d'un mécanisme de basculement automatique, ce qui vous évite de changer manuellement d'adresse IP.

Q : Comment savoir si je dois utiliser une adresse IP dynamique ou statique ?
R : le besoin de maintenir la session pendant une longue période (comme l'état de connexion) avec l'IP statique, la collecte régulière avec l'IP dynamique. ipipgo deux types peuvent êtremélangeun paramètre de l'API le fait basculer.

Q : Que dois-je faire si je rencontre des erreurs de certificat SSL ?
R : Il est probable que l'environnement proxy ne soit pas correctement configuré. Ajouterverify=FalseÀ titre de solution temporaire, il est recommandé de vérifier si la configuration des ports d'ipipgo est correcte.

V. La technologie noire qui rend le code plus intelligent

Les joueurs avancés peuvent jouerSimulation d'empreintes de flux: Rendre les requêtes plus proches des vrais navigateurs en ajustant des paramètres tels que la taille de la fenêtre TCP, l'empreinte SSL, etc. En conjonction avec l'outilEnvironnement de réseau IP résidentielLe système peut contourner efficacement les systèmes avancés de lutte contre l'escalade.

Enfin, le choix d'un service d'agence dépend des éléments suivantsPureté IP. Certains fournisseurs de services vendent les adresses IP des centres de données en tant qu'adresses IP résidentielles, ipipgo's, etc.Accueil Haut débit IP RessourcesLe taux de réussite réel peut dépasser 98%, ce qui est une puissance difficile.