Python Web Crawler : Proxy IP pour résoudre les problèmes d'anti-crawl

Premièrement, pourquoi le site bloque-t-il toujours votre crawler ?

Les crawlers des amis savent que de nombreux sites sont comme un radar, les crawlers capturés sur le bloc IP, cette chose n'est pas réellement la faute du webmaster, ils sont également des crawlers malveillants à avoir peur. Imaginez, si quelqu'un avec la même adresse IP visite votre site 100 fois par seconde, qui doit être anxieux.

C'est là que les IP proxy s'avèrent utiles. Si vous allez au Comic Con, chaque fois que vous changez de costume, les gardes de sécurité ne reconnaîtront pas la même personne. L'IP proxy permet au crawler de changer constamment de "gilet", de sorte que le site pense à tort qu'il s'agit d'un utilisateur différent.

Deuxièmement, la main pour vous apprendre à utiliser Python + proxy IP

Voici un exemple concret, réalisé à partir de la liste de films Douban. Voyons d'abord comment les robots d'indexation ordinaires sont bloqués :

demandes d'importation

url = 'https://movie.douban.com/top250'
response = requests.get(url)
print(response.status_code) Le plus probable est de renvoyer 418

C'est le moment d'offrir une IP proxy. Prenez les services d'ipipgo par exemple, ils offrentAgents résidentiels dynamiquesce qui est particulièrement adapté aux scénarios qui nécessitent des changements fréquents de propriété intellectuelle.

proxies = {
    'http' : 'http://用户名:密码@gateway.ipipgo.com:端口',
    'https' : 'https://用户名:密码@gateway.ipipgo.com:端口'
}

try.
    response = requests.get(url, proxies=proxies, timeout=10)
    print(response.status_code) Vous devriez voir 200 cette fois-ci !
except Exception as e.
    print("Exception de requête :", str(e))

Troisièmement, les trois principaux guides pour éviter les pièges du choix d'un mandataire IP

Face à la diversité des services proposés par les agences sur le marché, il convient de garder à l'esprit les trois points suivants :

Mention spéciale à ipipgo.Rotation intelligenteLa possibilité de changer automatiquement d'adresse IP en fonction de la fréquence des visites est une véritable bouée de sauvetage pour les tâches d'exploration qui doivent être exécutées pendant de longues périodes.

IV. questions pratiques fréquemment posées AQ

Q : Que dois-je faire si mon IP proxy ne fonctionne pas ?
R : Il est très probable que l'adresse IP ait été retirée par le site cible. Il est recommandé d'utiliser un fournisseur de services comme ipipgo qui fournit un remplacement d'IP en temps réel, leur pool d'IP est mis à jour avec des millions d'adresses chaque jour.

Q : Comment puis-je savoir si un crawler a été identifié ?
R : Faites attention aux trois signaux suivants : 1. CAPTCHA fréquent 2. code de statut de retour anormal 3. moins de données obtenues soudainement. Il est temps de vérifier si l'IP du proxy est exposée.

Q : Qu'est-ce qui est préférable, les proxies dynamiques ou statiques ?
R : Cela dépend du scénario d'utilisation. Les mandataires dynamiques conviennent pour les accès à haute fréquence (par exemple, les scripts de tickets), et les mandataires statiques conviennent pour les scénarios qui nécessitent des IP fixes (par exemple, l'interface API). ipipgo fournit les deux types de mandataires, et vous pouvez passer de l'un à l'autre à tout moment.

V. Améliorez vos compétences en matière de survie des reptiles

Il ne suffit pas d'avoir une adresse IP proxy, il faut apprendre la combinaison :
1. définir de manière aléatoire l'agent utilisateur dans l'en-tête de la demande
2. contrôler la fréquence des visites (ne pas être trop gourmand)
3. travailler avec le pool de cookies
4. mise en cache locale des données importantes

Pour citer un cas réel : un projet de surveillance des prix du commerce électronique, avec le service proxy d'ipipgo + un délai aléatoire (1-3 secondes), fonctionnant en continu pendant 30 jours sans être bloqué, le taux de réussite de la collecte de données reste supérieur à 98%.

Un dernier rappel pour les débutants :Ne faites pas appel à un agent inconnu au rabais !Certains agents de mauvaise qualité voleront vos données ou détourneront les requêtes de votre crawler à des fins malveillantes. Les choses professionnelles pour les gens professionnels, comme ipipgo ce genre de qualification formelle, fournir la documentation API et le support technique, utiliser seulement solide.