Python Web Crawler Tutorial : Contourner les restrictions anti-crawl avec des IP proxy

Pourquoi ce crawler est-il à nouveau bloqué ? Essayez la méthode de renouvellement de l'IP proxy

Il y a deux jours, j'ai aidé un ami à récupérer certaines données relatives au commerce électronique et, en l'espace d'une demi-heure, son adresse IP a été scellée. J'étais tellement en colère que j'ai versé trois tasses de café, je me suis soudain souvenu que l'année dernière j'avais utilisé le service proxy IP, et je me suis empressé d'ouvrir le compte ipipgo. Résultat, devinez quoi ? Pendant trois jours et trois nuits, le site n'a pas été bloqué, ce qui est plus rafraîchissant que le Red Bull !

Révélation des routines anti-escalade du site web

Les webmasters ne sont pas végétariens, et les anti-crawler recherchent principalement ces astuces :

1. contrôle de la fréquence d'accès à l'IP（Like a neighbourhood security guard with a licence plate.)
2. empreinte de l'en-tête de la demande（C'est comme reconnaître quelqu'un à ses pas.)
3. l'analyse des trajectoires comportementales(Semblable à l'observation d'un film de surveillance à la recherche de mouvements suspects)

L'IP proxy fonctionne en quelques secondes

Imaginez que vous engagiez un garçon de courses pour vous aider à aller au supermarché :

Votre ordinateur -> Serveur proxy -> Site web cible
(Honorable propriétaire) (Garçon de course) (Comptoir de supermarché)

Les supermarchés ne reconnaissent tout simplement pas la même personne en train de faire des courses lorsqu'un petit bonhomme différent est demandé à chaque fois !

Pratique de l'utilisation du proxy ipipgo

au préalableSite officiel de l'ipipgoObtenez un paquet, leur pool d'IP se met à jour aussi rapidement qu'une mise à jour du système de téléphonie mobile. Après avoir obtenu l'interface API, jonglons avec Python :

demandes d'importation
à partir d'un choix d'importation aléatoire

 Lien API copié depuis le backend d'ipipgo
ip_api = "https://api.ipipgo.com/your_token"

def get_proxies() :
    ip_list = requests.get(ip_api).json()
    return {'http' : f'http://{choix(ip_list)}'}

try.
    response = requests.get('Target URL',
                          proxies=get_proxies(),
                          timeout=10)
    print(response.text)
except Exception as e.
    print(f "Cette fois-ci, il s'est retourné : {e}")

Les conseils d'un vétéran pour sauver des vies

Mettez-le en évidence trois fois :N'utilisez pas de serveurs mandataires gratuits ! Ces IP sont depuis longtemps sur la liste noire des principaux sites web, ce qui n'est pas différent de l'utilisation de votre propre IP. La grande réserve d'IP d'ipipgo s'accompagne d'un effet furtif, qui est plus fiable que les équipes de relations publiques de certaines célébrités.

Questions fréquemment posées Trousse de premiers secours

Q : Combien de fois dois-je utiliser l'IP proxy avant qu'elle n'expire ?
R : Phénomène normal ! Il est recommandé de mettre en place une politique de remplacement automatique. L'API d'ipipgo permet d'extraire les dernières adresses IP à la demande.

Q : Que dois-je faire si le code renvoie une erreur 407 ?
R : Vérifiez que le format du proxy est correct, n'oubliez pas d'ajouter le mot de passe du compte avant l'IP, comme ceci : http://用户名:密码@ip:port

Q : Comment puis-je savoir si l'agent est vraiment anonyme ?
R : Visitez http://httpbin.org/ip看返回的IP是否暴露真实地址. Les mandataires d'ipipgo sont accompagnés d'un rapport de détection anonyme, ce qui est un grand soulagement.

Le guide de survie ultime

Rappelez-vous cette formule universelle :
Pool de proxy de qualité + Intervalle de requête aléatoire + Fonctionnement anthropomorphique = Survie à long terme
Récemment, ipipgo home a trouvé une nouvelle fonction de port dynamique, qui permet de changer automatiquement l'IP d'exportation, ce qui est tout simplement adapté au gilet pare-balles du crawler.

Enfin, je voudrais dire que si vous rencontrez un site web particulièrement difficile, vous pouvez essayer d'utiliser Selenium avec une IP proxy. Bien que la vitesse soit plus lente, l'effet de simulation est comparable à l'opération réelle. Avec le proxy résidentiel d'ipipgo, le taux de réussite peut être augmenté de 70% à 80% !