Scripts Crawler Python : Modèles de code pour la collecte automatisée de données

Tout d'abord, pourquoi les vieux conducteurs aiment-ils utiliser des robots d'indexation par proxy ?

Les confrères engagés dans la collecte de données savent que le mécanisme d'anti-escalade des sites est de plus en plus perfectionné. La semaine dernière, j'ai aidé un ami à collecter des données sur le commerce électronique, mais l'adresse IP a été bloquée pendant une demi-heure.IP proxyCette arme magique. Pour faire simple, elle fait croire au serveur que chaque visite est effectuée par une "personne" différente, un peu comme si l'on jouait à cache-cache en changeant constamment de gilet.

Je dois vous dire que je l'utilise dans ma propre maison.ipipgoLes services proxy, leur famille spécialisée dans l'IP résidentielle dynamique. test avec leur pool d'IP pour la collecte de données, fonctionnant pendant trois jours consécutifs n'a pas déclenché l'interdiction. Comment l'utiliser ? Découvrez le code de l'application.

Deuxièmement, l'apprentissage pratique de l'environnement IP proxy

Installez d'abord ces deux bibliothèques essentielles :

pip install requests
pip install fake-useragent

C'est là que le bât blesse.ipipgoLa posture d'accès. Après vous être enregistré sur leur site officiel, vous obtiendrez ce lien API :

https://api.ipipgo.com/get?key=你的密钥

Il est recommandé de créer un petit outil pour vérifier la validité de l'adresse IP (nous y reviendrons plus tard), car certains proxys gratuits font souvent des erreurs. Si vous utilisez un proxy payant, commeipipgoPour ce fournisseur de services professionnels, la disponibilité de l'IP peut atteindre 98% ou plus.

Troisièmement, le modèle de code universel ouvert

Directement sur les produits secs, ce modèle que j'utilise depuis trois ans, a séduit des dizaines de sites :

import requests
from fake_useragent import UserAgent

def get_proxy() :
     Unique à la méthode d'extraction d'ipipgo
    proxy_url = "https://api.ipipgo.com/get?key=你的密钥"
    return {'http' : f'http://{requests.get(proxy_url).text}'}

def crawler(url) : {'http' : f'{requests.get(proxy_url.text}'}
    headers = {'User-Agent' : UserAgent().random}

    for _ in range(3) : retry 3 times
        try : resp = requests.get(url)
            resp = requests.get(url,
                             headers=headers, proxies=get_proxy()
                             headers=headers, proxies=get_proxy(), timeout=10)
                             timeout=10)
            if resp.status_code == 200: : return resp.
                return resp.text
        except Exception as e.
            print(f "Échec {_+1}ème fois : {str(e)}")
    return None

 Exemple d'utilisation
data = crawler('https://目标网站.com')

Attention à deux nids-de-poule :De nombreux tutoriels oublient de définir l'en-tête de requête aléatoire, ce qui équivaut à voler des données en portant une salopette. Ne fixez pas non plus un délai d'attente trop court, 8 à 15 secondes étant une valeur sûre.

Quatrièmement, améliorer l'efficacité de la collecte des tartelettes

1. Échauffement du pool IP :Avant de lancer le script, récupérez par lots 50 à 100 IP pour les enregistrer dans la liste, afin d'éviter de retarder l'utilisation de la prise en cours. L'API d'ipipgo prend en charge l'extraction par lots, ce qui est très attentionné.

2. Stratégies de commutation intelligentes :Classe automatiquement les adresses IP en fonction de la vitesse de réponse. Marque les adresses IP à réponse rapide comme des adresses IP de premier ordre à utiliser exclusivement pour les demandes critiques.

3. Mécanisme de détection des anomalies :Changer automatiquement d'adresse IP lorsqu'une page CAPTCHA est affichée. Cela doit fonctionner avec la fonction de notification d'échec de l'adresse IP fournie par ipipgo.

Cinquièmement, les nouveaux arrivants doivent consulter le guide anti-fosse

Q：Que dois-je faire si mon IP proxy ne fonctionne pas lorsque je l'utilise ?
R : Cette situation est particulièrement fréquente lors de l'utilisation de serveurs mandataires gratuits. Il est recommandé d'opter pour une formule comme ipipgo avec remplacement automatique, dont le temps de survie de l'IP est plus de trois fois supérieur à celui des proxys normaux.

Q : Comment puis-je savoir si un agent est très anonyme ?
R : Visitez http://httpbin.org/ip pour voir si l'IP renvoyée est une IP proxy. ipipgo a toutes les IP en mode "high stash", ce qui n'expose pas du tout l'adresse réelle.

Q : Y aura-t-il un conflit si j'ai plus d'un crawler en marche en même temps ?
R : N'oubliez pas d'attribuer des pools d'adresses IP distincts à chaque processus d'exploration. Le compte ipipgo prend en charge l'extraction multicanal et vous pouvez attribuer des liens d'extraction différents à des scripts différents.

Sixièmement, dites quelque chose de sincère

Trop de gens ont commencé à utiliser des proxy IP à l'aveuglette, soit par des agents au cœur noir, soit par des codes écrits avec de nombreuses failles. En fait, la clé réside en trois points :Choisir le bon fournisseur de services, bien gérer les exceptions, contrôler raisonnablement la fréquence des demandes..

Comme ipipgo, leurs services techniques sont vraiment professionnels, la dernière fois que nous avons un projet qui nécessite une ville IP spécifique, le service clientèle a 10 minutes pour construire un bon canal exclusif. S'engager dans le crawler de cette ligne, il y a un fournisseur d'agent fiable peut vraiment sauver la moitié du cœur.

Enfin, un rappel pour les débutants : ne vous contentez pas d'explorer les données, pensez à fixer des intervalles raisonnables entre les visites. J'ajoute généralement des temps d'attente aléatoires dans le code, comme ceci :

import random
time.sleep(random.uniform(1,3)) Random sleep 1-3 seconds

L'ajout ou non de cette ligne de code pourrait être la différence clé pour que vous puissiez avoir une collection stable à long terme. Si vous pensez que c'est utile, essayez plus tard le service proxy d'ipipgo et signalez mon nom... peu importe, ils ne m'ont pas fait de réduction, il suffit de s'inscrire directement sur le site web.