Tutoriel Python sur l'exploration du Web : études de cas pratiques

Tout d'abord, pourquoi votre crawler est-il toujours bloqué ? Comprendre d'abord la fosse

Récemment, un ami qui fait du commerce électronique s'est plaint à moi que le script de surveillance des prix qu'il a écrit en Python a fonctionné pendant deux jours, puis a cessé ses activités. J'ai jeté un coup d'œil aux journaux et j'étais content : ce type utilisait la même IP pour demander frénétiquement le site cible, il est donc étrange que les gens ne le bloquent pas ! C'est le moment de sortir notre sauveurIP proxyup. En termes simples, les IP proxy reviennent à mettre un million de masques sur un robot d'exploration pour que le site pense qu'il s'agit d'une personne différente à chaque visite.

Prenons un exemple : vous voulez aller au supermarché pour goûter de la nourriture, si vous essayez 20 fois de suite et que vous n'achetez toujours pas, l'agent de sécurité vous enverra certainement promener. Mais si vous changez de vêtements à chaque fois que vous entrez, pourrez-vous manger quelques fois de plus ? L'IP proxy est cette "technique de déguisement", mais ici le changement est une identité de réseau.

Deuxièmement, la main pour vous apprendre à utiliser ipipgo agent real capture

Tout d'abord, l'intérêt de la pratique, utilisons le logiciel gratuit d'ipipgo pour faire une démonstration. Supposons que nous voulions capturer les informations sur les produits d'une plateforme de commerce électronique.IP rotatifrépondre en chantantFréquence de contrôle.

importation de requêtes
from itertools import cycle

 Liste des mandataires de ipipgo
proxies = [
    "http://user:pass@gateway.ipipgo.com:1000",
    "http://user:pass@gateway.ipipgo.com:1001".
     ... Plus de nœuds de proxies
]
proxy_pool = cycle(proxies)

url = "https://目标网站.com/product/123"

for _ in range(10): :
    try.
         Changer de proxy à chaque fois
        proxy = next(proxy_pool)
        response = requests.get(url, proxies={"http" : proxy}, timeout=5)
        print(response.text)
         Il est recommandé d'ajouter un délai de 2 à 5 secondes
    except Exception as e.
        print(f "Erreur avec {proxy} :", str(e))

Notez qu'il y a deux pièges à éviter : 1. ne pas utiliser les proxies gratuits (lents et peu sûrs) 2. ne pas oublier d'ajouter des paramètres de temporisation. Je recommande de le faire directement sur la pagePaquets commerciaux d'ipipgoLe temps de réponse de leur ligne exclusive à domicile peut être contrôlé dans les 200 ms.

L'utilisation de l'IP proxy dans les cinq compétences indispensables

Quelques leçons pratiques basées sur les mines sur lesquelles j'ai marché au fil des ans :

L'accent est mis en particulier surl'en-tête de la requête se fait passer pourA ce sujet, beaucoup de néophytes pensent que changer l'IP c'est bien, en fait, User-Agent, Referer, ces paramètres n'étant pas paramétrés, les minutes permettent d'exposer l'identité du robot.

IV. questions et réponses pratiques : vous avez sûrement rencontré ces situations

Q：Pourquoi suis-je toujours bloqué même si j'utilise une IP proxy ?
R : 80 % des cas sont dus au fait que la session n'est pas gérée correctement ! Par exemple, le statut de connexion suit l'IP, n'oubliez pas d'effacer les cookies chaque fois que vous changez d'IP.

Q : Que dois-je faire si la réponse de l'IP proxy est lente ?
R : Vérifiez d'abord si vous utilisez un proxy partagé, nous vous recommandons de passer à la ligne exclusive d'ipipgo. S'il s'agit d'une ressource étrangère, choisissez leurDes agents géographiquement adaptésDe meilleurs résultats

Q : Que se passe-t-il si je dois traiter des milliers de tâches en même temps ?
R : Pour les requêtes asynchrones, ah ! Utilisez aiohttp avec un pool de proxy, n'oubliez pas de contrôler la concurrence. Le paquet d'entreprise d'ipipgo prend en charge 10 000 concurrences, mais aussi l'équilibrage automatique de la charge !

V. Jeu de mise à niveau : système d'ordonnancement par agent intelligent

Aux joueurs avancés de partager un chef-d'œuvre - l'ordonnancement dynamique intelligent. Ce programme permet de changer automatiquement d'agent en fonction de l'état de réponse du site cible, ce qui équivaut au crawler installé sur un système de pilotage automatique.

from smart_proxy import IPManager En supposant qu'il s'agit du SDK pour ipipgo

ip_manager = IPManager(api_key="votre clé ipipgo")

def smart_request(url).
    def smart_request(url) : while True : proxy = ip_manager.
        proxy = ip_manager.get_best_proxy()
        try.
            resp = requests.get(url, proxies=proxy)
            if resp.status_code == 200: : resp = requests.get(url, proxies=proxy)
                return resp
            else.
                ip_manager.report_error(proxy)
        except : ip_manager.report_error(proxy)
            ip_manager.report_error(proxy)

 Sélectionne automatiquement le noeud avec la latence la plus faible
print(smart_request("https://需要抓取的网站"))

L'API d'ipipgo permet d'accéder directement à une liste de proxys disponibles en temps réel et peut également dépanner automatiquement les nœuds défaillants.

Sixièmement, dites quelque chose de sincère

Do crawler cette ligne depuis plus de cinq ans, la plus grande leçon est de ne pas économiser de l'argent sur l'IP proxy. Dans les premières années d'utilisation de proxys gratuits, il y a eu des fuites de données, mais j'ai aussi rencontré un fournisseur de services proxy qui s'est soudainement enfui, ce qui a entraîné l'effondrement du projet. Plus tard, j'ai opté pouripipgoCes fournisseurs de services réguliers, non seulement la stabilité, mais aussi les problèmes avec le service d'assistance technique à la clientèle à tout moment.

Enfin, pour rappeler aux amis novices : la capture de réseau doit être conforme à l'accord sur les robots du site web, et la fréquence de la capture doit être contrôlée. Après tout, nous ne faisons qu'"emprunter des données", ne mettons pas les serveurs des autres hors service. Utilisez un bon proxy IP cet outil, afin de tenir bon dans cette ère où les données sont reines.