Python web crawler : solution de récolte Python

Le crawler Python ne peut pas gérer le blocage des adresses IP ?

Les frères Crawler comprennent que le plus grand casse-tête est que le site cible vous donne soudainement une interdiction d'IP. Hier, vous avez exécuté un bon script, aujourd'hui, vous êtes directement hors service. En ce moment, vous devez sortir de l'ombre.IP proxyCe sauvetage, aujourd'hui nous allons prendre la parole de combat réel, vous apprendre à utiliser Python + proxy IP pour créer un King Kong pas mal de schéma de collecte.

Pourquoi dois-je utiliser une adresse IP proxy ?

Pour donner un marron, vous allez tous les jours dans le même supermarché pour acheter un nombre limité de produits, le vendeur le troisième jour du fer à repasser est sûr de vous reconnaître. Les serveurs web relèvent également du même raisonnement, la même IP les visite fréquemment, ce qui déclenche immédiatement le mécanisme anti-escalade. Cette fois-ci, vous devezplusieurs ensembles de gilets(Proxy IP), le pool dynamique d'IP de la famille ipipgo peut changer automatiquement l'IP à chaque demande, ce qui est beaucoup plus efficace que la commutation manuelle.

importation de requêtes
from itertools import cycle

 Liste des mandataires de ipipgo
proxies = [
    "http://user:pass@103.ipipgo.com:8000",
    "http://user:pass@104.ipipgo.com:8000".
     ... Plus de proxies
]
proxy_pool = cycle(proxies)

pour _ dans l'intervalle(10) :
    current_proxy = next(proxy_pool)
    try : current_proxy = next(proxy_pool)
        response = requests.get(
            'https://目标网站.com', proxies={"http" : current_proxy}, current_proxy_pool
            proxies={"http" : current_proxy},
            current_proxy}, proxies={"http" : current_proxy}, timeout=5
        )
        print("Capture réussie :", response.status_code)
    except.
        print("Échec du proxy actuel, passage automatique au proxy suivant")

Guide pratique pour éviter la fosse

Il ne suffit pas d'utiliser l'agent, ces détails ne font pas attention à la voiture comme d'habitude :

Tutoriels de configuration que même un novice peut utiliser

1. se rendre sur le site officiel d'ipipgo pour s'inscrire, les nouveaux utilisateurs doivent envoyer un message à l'adresse suivante5000 essais gratuits
2. générer un lien API dans la console et copier l'adresse du proxy dans le code.
3) Branchez la fonction suivante dans votre crawler :

def get_ipipgo_proxy().
    api_url = "https://api.ipipgo.com/获取代理的路径" Remplacez par votre propre compte
    return requests.get(api_url).text.strip()

Il est recommandé de remplacer user et pass par les informations d'authentification de votre propre compte.variable d'environnementStockez des informations sensibles, ne soyez pas stupide et écrivez-les en code !

Foire aux questions QA

Q : Que dois-je faire si l'adresse IP du proxy est invalidée après son utilisation ?
R : C'est pourquoi vous devriez choisir l'agent résidentiel dynamique d'ipipgo, dont le temps de survie des IP est optimisé, avec le mécanisme de remplacement automatique qui ne laisse pas tomber la ligne.

Q : Combien d'agents suffisent pour explorer les données ?
R : Examinez la force de l'anti-escalade du site cible, généralement des sites de petite et moyenne taille avec des10 à 20 adresses IP de haute qualitéLa rotation est adéquate. Le modèle "pay-as-you-go" d'ipipgo est assez rentable, vous achetez autant que vous utilisez.

Q : Que dois-je faire si je suis toujours reconnu après avoir utilisé une procuration ?
R : Vérifiez les trois points suivants : 1) L'en-tête de la requête contient-il l'empreinte digitale du navigateur ? 2) L'intervalle d'opération est-il trop régulier ? 3) La qualité de l'IP est-elle conforme aux normes ? Il est recommandé d'aller sur ipipgo'sAgents à forte valeur ajoutéeet cachent complètement l'adresse IP réelle.

Enfin, l'IP proxy n'est pas une panacée, avec les normes des habitudes des crawlers. Si vous répugnez aux serveurs des gens des centaines de requêtes par seconde, même le meilleur proxy ne pourra pas les prendre en charge. Un contrôle raisonnable de la fréquence, couplé à un proxy ipipgo de qualité, voilà la voie d'une collecte durable.