Outil simple d'exploration du Web : Guide de développement d'un crawler par proxy simple

Un outil d'exploration du web pratique qui ne bloque pas votre compte

S'engager dans le crawler est le plus grand mal de tête est le site bloqué IP, hier a également exécuté un bon script aujourd'hui, un hiatus soudain. À ce moment-là, vous devez utiliser le proxy IP, cette arme magique, comme le jeu d'ouvrir un petit numéro, un numéro est bloqué immédiatement changer le nouveau numéro et puis jouer.

Écrivons l'exemple le plus simple en Python :

importation de requêtes
from itertools import cycle

 Voici le lien vers l'API fournie par ipipgo.
proxy_api = "https://api.ipipgo.com/get?type=dynamic&count=5"

def get_proxies() :
    resp = requests.get(proxy_api)
    return [f"{p['ip']}:{p['port']}" for p in resp.json()['data']]]

proxy_pool = cycle(get_proxies())

url = "https://target-site.com/data"
for _ in range(10).
    proxy = next(proxy_pool)
    try.
        resp = requests.get(url, proxies={"http" : proxy, "https" : proxy})
        print(resp.text[:100]) Affiche les 100 premiers caractères de la validation.
    print(resp.text[:100])
        print(f"{proxy} accroché, passez tout de suite au suivant !")

Trois éléments sont au cœur de ce texte :Acquisition automatique de pools d'adresses IPetProcurations récurrentesetCommutation automatique anormale. L'extraction d'adresses IP résidentielles dynamiques à l'aide de l'API d'ipipgo, qui change de façon aléatoire à chaque demande, est plus de dix fois plus durable qu'une seule adresse IP.

Choisir le bon type d'agent pour obtenir deux fois plus de résultats avec deux fois moins d'efforts

Il existe différents types d'IP proxy sur le marché. Le tableau ci-dessous permet de comparer trois types courants :

Délimiter l'objectif :Choisir la norme dynamique pour une petite quantité de données(math.) genreUtiliser une IP statique pour les blocages de longue durée(math.) genreLes applications d'entreprise se tournent directement vers des solutions personnaliséesJe ne suis pas sûr d'avoir déjà eu un problème avec cela. La dernière fois que j'ai aidé un client avec un système de comparaison de prix, j'ai utilisé l'IP dynamique d'entreprise et il a fonctionné pendant un mois d'affilée sans être bloqué.

Guide pour éviter les pièges : cinq erreurs courantes commises par les novices

1. Oublier de définir un délai d'attenteCertains proxys sont lents à répondre, et sans le paramètre timeout, tout le script sera bloqué.

 Position correcte
requests.get(url, proxies=proxy, timeout=(3, 7))

2. Le pool d'adresses IP n'a pas été mis à jourIl est recommandé de rafraîchir le pool d'adresses IP toutes les deux heures, en particulier pour les adresses IP résidentielles dynamiques.

3. User-Agent ne commute pasRemplacement de l'en-tête de la demande par l'IP du proxy, authenticité +50%

4. Ignorer la validation du certificat HTTPSCertains agents exigent que l'authentification soit désactivée, mais cela réduit la sécurité.

5. Pas de test de qualité de la propriété intellectuelle.Le système de gestion des adresses IP est le suivant : il faut d'abord effectuer un ping sur les adresses IP extraites afin d'éliminer les nœuds non valides.

Cas pratique : saisir les données sur les prix du commerce électronique

Par exemple, une plateforme de commerce électronique dispose d'une stratégie anti-crawl :

• Bannissement d'une seule adresse IP avec plus de 20 requêtes par minute
• Les fonctions inutiles du navigateur sont détectées et bloquées directement.
• AJAX chargement dynamique des données

Notre programme de crack :

from fake_useragent import UserAgent

ua = UserAgent()
headers = {
    'User-Agent' : ua.random, 'Accept-Language' : 'en-US,en;q=0.9'
    'Accept-Language' : 'en-US,en;q=0.9'
}

def stealth_crawl(url).
    proxy = get_proxy() obtient une nouvelle IP de ipipgo
    try.
        resp = requests.get(url,
                          headers=headers, proxies={"https
                          proxies={"https" : proxy},
                          timeout=5)
        if "CAPTCHA" in resp.text : print("Déclenchement de la validation !
            print("Authentification déclenchée ! Switching IPs now")
            refresh_proxies()
        return parse_data(resp.json())
    except Exception as e : log_error(e)
        log_error(e)
        return None

Au cœur de ce programme se trouventUA dynamique + Proxy IP + Détection des anomaliesTrinité. Le test réel avec l'IP résidentielle statique d'ipipgo, 3 jours de collecte continue, n'a pas déclenché le mécanisme de vérification.

Questions fréquemment posées

Q : Que dois-je faire si l'adresse IP du proxy n'est pas valide après que je l'ai utilisée ?
R : Il est recommandé d'opter pour les services d'ipipgo.Dynamic Residential (Enterprise Edition)L'ensemble est doté d'une fonction de détection de la survie de l'IP et d'un remplacement automatique en cas de défaillance.

Q : Que se passe-t-il si j'ai besoin de faire fonctionner plusieurs robots en même temps ?
R : Utiliser leurExtraction simultanée de l'APIn'oubliez pas de définir des identifiants de session différents afin d'éviter la duplication des IP.

Q : Comment briser le mécanisme anti-escalade qui est particulièrement strict ?
R : Contacter l'assistance technique d'ipipgo pour la personnalisation.Agent de ligne TKCe pool d'IP a été spécialement traité pour avoir un taux de réussite allant jusqu'à 98%.

Q : Comment puis-je savoir si je dois utiliser l'abonnement par quantité ou l'abonnement mensuel ?
R : Il est plus rentable de souscrire un abonnement mensuel direct avec un volume de données quotidien moyen de 10 Go. Le service clientèle de l'entreprise peut vous donner des informations sur les tarifs de l'abonnement.Rapport d'évaluation de l'utilisationCe service est gratuit.

Pourquoi recommandez-vous ipipgo ?

Après avoir utilisé sept ou huit fournisseurs de services proxy, j'ai finalement choisi ipipgo pour trois raisons.Pureté IPélevé, contrairement à certains fournisseurs de services qui vendent des adresses IP sur liste noire comme s'il s'agissait d'adresses nouvelles ; et deuxièmement.temps de réponse rapideLes ordres de travail doivent être traités dans un délai de 10 minutes ; iii.Paquets flexiblesLe mois dernier, nous avons fait des projets à court terme et nous avons pu demander des paiements hebdomadaires.

En particulier, leurSERP Agent dédiéLe taux de réussite lors de l'exploration des moteurs de recherche est directement doublé. Récemment, les nouveauxpartage de traficCette fonctionnalité est également très utile pour les équipes qui peuvent partager des pools d'adresses IP avec plusieurs personnes sans se battre.

Enfin, un conseil : n'achetez pas d'agent bon marché, car les pertes bloquées sont plus importantes. Les prestataires de services habituels ontEssai gratuitIl est donc important de tester avant de commander. Par exemple, le pack d'expérience pour débutants d'ipipgo est suffisant pour parcourir l'ensemble du processus de développement.