Crawler python : schéma d'intégration de proxy IP pour crawler Python

Utilisation d'un crawler Python pour accéder aux adresses IP des serveurs mandataires.

Les frères engagés dans les crawlers comprennent que l'IP est bloquée, ce qui est plus courant que de manger. Pas de panique, aujourd'hui nous allons vous expliquer comment utiliser un proxy IP pour la vie des reptiles. N'oubliez pas que nous parlons ici de la conformité légale de la collecte de données, ne vous méprenez pas.

Pourquoi dois-je utiliser une adresse IP proxy ?

Pour citer un marronnier, vous squattez un cybercafé pour jouer à des jeux, le patron, voyant que vous jouez trop fort, retire directement le câble réseau. L'IP proxy est comme une nouvelle machine et ensuite on joue, vous comprenez ? En particulier pour attraper les prix du commerce électronique, les sites de comparaison de prix, ces endroits, sans proxy IP ne peuvent tout simplement pas jouer.

Trois scénarios clés :

• Nécessite des visites fréquentes sur le même site web
• Les sites cibles sont géographiquement limités
• Des données multirégionales sont nécessaires pour les tâches de collecte.

Guide de sélection de l'IP Proxy

Exemple de code

Avec la bibliothèque des requêtes, le code ressemble à ceci :

demandes d'importation

 L'adresse API provient du backend d'ipipgo (n'oubliez pas de la remplacer par la vôtre).
proxy_api = "https://api.ipipgo.com/getproxy"

def get_proxy() :
    res = requests.get(proxy_api)
    return {'http' : f'socks5://{res.text}', 'https' : f'socks5://{res.text}'}

response = requests.get('destination URL', proxies=get_proxy(), timeout=10)
print(response.status_code)

Si vous utilisez le framework Scrapy, l'intergiciel doit être écrit comme suit :

classe ProxyMiddleware(objet).
    def process_request(self, request, spider) : proxy = requests.get("ipipgo's API address").text.
        proxy = requests.get("Adresse API de ipipgo").text
        request.meta['proxy'] = f "socks5://{proxy}"

Pièges courants AQ

Q : Que dois-je faire si mon IP proxy tombe soudainement en panne ?
R : Utilisez le paquet résidentiel dynamique d'ipipgo, qui est livré avec un commutateur automatique de pools d'adresses IP. N'oubliez pas d'ajouter le mécanisme de retrying dans le code, il est recommandé d'utiliser la bibliothèque retrying.

Q : Comment puis-je savoir que l'agent est en vigueur ?
R : Imprimer l'adresse IP actuelle avant et après la requête, il est recommandé d'utiliser httpbin.org/ip pour la détection de cette interface.

Q : Lequel choisir, statique ou dynamique ?
R : L'IP statique pour les sites web qui nécessitent une connexion, et l'IP dynamique pour la collecte générale. L'offre dynamique d'ipipgo Enterprise Edition prend en charge le maintien de la session, ce qui convient aux scénarios qui nécessitent une connexion.

Guide pour éviter la fosse

1. ne pas stocker l'IP du proxy dans un fichier local, il est plus fiable de la stocker dans redis.
2. vérifier la disponibilité de l'IP avant chaque demande, ne pas attendre qu'une erreur soit signalée pour traiter la demande.
3. attention au type de protocole, les sites http n'utilisent pas le proxy socks5 (bien qu'ipipgo le supporte)
4. n'oubliez pas de définir un délai d'attente, de 5 à 10 secondes de préférence.

Enfin, un mot sur la maison unique d'ipipgo, leur maisonLigne TKPour certains scénarios spéciaux, l'effet est miraculeux, il est difficile d'obtenir le site, mais le service clientèle peut tester les ressources. Il est recommandé aux nouveaux utilisateurs d'utiliser la version standard dynamique, la quantité de ressources étant importante, puis de passer à la version entreprise, ce qui permet d'économiser beaucoup d'argent.