IP Proxy combinée avec BeautifulSoup Crawl : IP Proxy intégrée BeautifulSoup

Quand le crawler rencontre l'anti-climbing, comment faire ? Essayez cette astuce de proxy IP

Récemment, beaucoup d'amis se sont plaints que l'utilisation de BeautifulSoup pour capturer des données était toujours bloquée par l'IP du site web ! L'année dernière, en surveillant les prix du commerce électronique, j'ai été bloqué pendant trois jours consécutifs par plus d'une douzaine d'adresses IP, ce qui m'a mis tellement en colère que j'ai failli laisser tomber le clavier. Plus tard, j'ai trouvé une astuce -Rotation de l'IP du proxyAujourd'hui, nous allons vous apprendre à jouer du proxy IP et de BeautifulSoup pour sortir des fleurs.

Pourquoi dois-je utiliser une adresse IP proxy ?

Pour donner un exemple concret : un jour, à trois heures du matin, j'utilisais un crawler pour récupérer les données sur les nouveaux produits d'un site web de vêtements. Soudain, le script s'est bloqué et le code de retour était 403 - l'IP était à nouveau bloquée ! À ce moment-là, s'il y a une IP proxy, le changement direct d'IP peut continuer à fonctionner. C'est comme jouer à un jeu qui consiste à ouvrir un petit numéro, le grand numéro étant bloqué, il faut immédiatement changer le petit numéro, ce qui permet d'économiser du temps et des efforts.

Didacticiel d'intégration pratique

Nous utilisons ici le service proxy d'ipipgo pour faire une démonstration, un des avantages de leur maison est que vous n'avez pas besoin de changer manuellement l'IP à chaque fois, ils supportent la rotation automatique. Tout d'abord, installez les bibliothèques nécessaires :

pip install requests beautifulsoup4

Exemple de code réel (n'oubliez pas de le remplacer par vos propres informations de compte) :

import requests
from bs4 import BeautifulSoup

 Nous utilisons ici l'interface API fournie par ipipgo
proxy_api = "http://ipipgo.com/api/getproxy?key=你的密钥"

def get_proxy() :
    resp = requests.get(proxy_api)
    return {'http' : f'http://{resp.text}', 'https' : f'http://{resp.text}'}

url = "site cible"
headers = {'User-Agent' : 'Mozilla/5.0'}

try.
     L'essentiel se trouve dans cette ligne ! Changer automatiquement l'adresse IP pour chaque requête
    response = requests.get(url, headers=headers, proxies=get_proxy())
    soup = BeautifulSoup(response.text, 'html.parser')
     Ecrivez votre logique d'analyse ici...
except Exception as e.
    print(f "Erreur : {e}")

Un guide pour éviter le gouffre (Sang et larmes)

Je suis tombé dans ces nids de poule lorsque j'ai commencé à utiliser des IP proxy :

1. n'a pas défini le paramètre timeout → le programme s'est planté → ajouter timeout = 10
2. oubli de rattraper les exceptions → le programme se plante → envelopper avec try.... . sauf paquet
3. utiliser un proxy transparent → toujours bloqué → changer le proxy high stash

Nous recommandons tout particulièrement le site d'ipipgoAgents résidentiels dynamiquesLa réserve d'adresses IP est mise à jour rapidement et dispose d'une fonction de validation automatique. Leur pool d'adresses IP est mis à jour rapidement, mais il est également doté d'une fonction de vérification automatique, les adresses IP non valides étant automatiquement filtrées.

Foire aux questions QA

Q : Que dois-je faire si l'IP de mon proxy est lente ?
A : choisir le nœud proche du serveur cible, ipipgo supporte le filtrage par région, choisir la même ville que le nœud proxy le plus rapide.

Q : Les proxys gratuits fonctionnent-ils ?
R : Les débutants peuvent tâter le terrain, mais les projets sérieux ne doivent pas l'être ! Testé précédemment, la disponibilité de proxies gratuits inférieurs à 20%, a retardé les choses

Q : Comment puis-je savoir si une procuration est en vigueur ?
R : Ajoutez une instruction d'impression au code pour saisir l'adresse IP utilisée à chaque fois. Ou visitez le site http://ip.ipipgo.com/checkip pour voir l'adresse IP renvoyée.

Conseils pour la mise à niveau du jeu

Récemment, j'ai découvert une opération savoureuse : l'utilisation combinée d'une IP proxy et d'une UA aléatoire. Voici ce que cela donne :

import fake_useragent
ua = fake_useragent.UserAgent().random
headers = {'User-Agent' : ua}

Grâce à la formule de paiement à l'utilisation d'ipipgo, il est particulièrement rentable de réaliser des projets de petite et moyenne envergure. N'oubliez pas de définir le nombre de concurrences, qui ne doit pas être trop élevé. Il est recommandé aux débutants de ne pas dépasser 5 threads.

Une dernière mise en garde : utilisez un proxy IP pourRespect des règles du site webNe bloquez pas les serveurs des autres. Utilisez les outils à bon escient, afin d'obtenir des données de manière stable pendant longtemps. Si vous rencontrez des problèmes techniques, vous pouvez consulter directement le service clientèle technique d'ipipgo. La vitesse de réponse est assez rapide, la dernière fois que vous posez une question à deux heures du matin, vous obtenez une réponse dans les secondes qui suivent...