python crawler using proxy : Python crawler project integration proxy IP solution

Tout d'abord, pourquoi les crawlers doivent-ils être équipés de proxies ? Cette fenêtre doit être brisée

Les confrères engagés dans le crawling ont rencontré cette situation : les scripts tournent bien, soudain sur le hiatus, le site revient en 403 avec un ghost like. En clair, votre IP locale a été reconnue par d'autres, directement par la petite maison noire. C'est comme utiliser le même numéro de téléphone portable tous les jours pour envoyer des SMS à la fille, pas de quoi être tiré à quatre épingles, seulement étrange.

L'adresse IP du proxy est la vôtre.changeur de visageSi vous voulez utiliser un proxy, vous devez en utiliser un différent à chaque fois que vous en demandez un. En particulier pour la capture de données, ne pas utiliser de proxy revient à courir nu sur le champ de bataille, et vous serez incendié en quelques minutes. Mais il existe toutes sortes de services proxy sur le marché, et un mauvais choix ralentira la vitesse.

Deuxièmement, quelles brosses dois-je utiliser pour choisir une IP proxy ?

N'écoutez pas les jingles fantaisistes, concentrez-vous sur ces trois points :

Par exemple, pour comparer les prix du commerce électronique, vous devez utiliser une adresse IP résidentielle dynamique, chaque visite étant assimilée à un utilisateur réel. Si vous effectuez des tests automatisés, une IP statique est plus sûre. Comme le site d'ipipgoPaquet résidentiel dynamiqueLe prix de plus de 7 $ pour 1 G de trafic est plus avantageux pour les développeurs individuels.

Troisièmement, la main pour vous apprendre à brancher l'agent dans le projet Python

En utilisant la bibliothèque des requêtes comme exemple, trois lignes de code suffisent pour connecter le proxy :

demandes d'importation

proxies = {
    'http' : 'http://用户名:密码@gateway.ipipgo.com:端口',
    'https' : 'http://用户名:密码@gateway.ipipgo.com:端口'
}
response = requests.get('destination URL', proxies=proxies)

Si vous utilisez le framework Scrapy, ajoutez ces lignes à settings.py :

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware' : 400,
}

IPIPGO_API = "Votre lien d'extraction"

N'oubliez pas d'extraire le pool d'adresses IP de l'API d'ipipgo lors du lancement du crawler, leurLigne TKLa latence peut être réduite à moins de 200 ms, ce qui est personnellement plus rapide que certains grands acteurs.

IV. guide pour éviter la fosse : ne pas marcher sur ces champs de mines

1. l'entretien des piscines IP :Ne soyez pas stupide et n'utilisez pas de proxies gratuits, 8 sur 10 sont mauvais. Il est recommandé de mettre à jour l'IP de 20% toutes les heures, car le client d'ipipgo peut changer l'IP automatiquement.

2. demander le contrôle de la fréquence :Même si vous utilisez un proxy, ne faites pas n'importe quoi et ne fixez pas de délais aléatoires :

import random
time.sleep(random.uniform(1,3)) 

3. la gestion des exceptions :Ne soyez pas dur lorsque vous rencontrez un CAPTCHA, changez d'IP à temps, enveloppez le code de la requête avec try-except, et passez au proxy suivant si le code de statut n'est pas 200.

V. Kit de premiers secours AQ

Q : Que dois-je faire si l'IP de mon proxy est lente ?
R : La priorité est donnée aux ressources des opérateurs locaux, et ipipgo prend en charge le filtrage par pays et par ville. S'il s'agit d'une demande transfrontalière, l'utilisation de leur ligne transfrontalière peut être aussi rapide que 30%.

Q : Comment puis-je vérifier si la procuration est en vigueur ?
R : Visitez http://httpbin.org/ip pour voir si l'adresse IP renvoyée est une adresse IP de proxy ou utilisez l'outil de détection fourni avec le client ipipgo.

Q : Que puis-je faire si mon adresse IP est bloquée ?
R : Arrêtez immédiatement la demande d'IP en cours et changez le type d'IP. Si l'IP résidentielle statique est bloquée, contactez le service clientèle d'ipipgo pour changer les bindings, ils répondent rapidement aux voleurs !

Pourquoi avez-vous choisi ipipgo ?

celui-ciPaquet résidentiel dynamiqueJe renouvelle depuis trois ans, quelques points d'expérience réelle :

1. extraire l'API de manière simple et grossière, sans avoir besoin de procéder à une authentification complexe
2. le client fournit des statistiques sur le trafic, ce qui permet de ne pas s'inquiéter des dépenses excessives à la fin du mois
3) Le service clientèle est vraiment en ligne 24 heures sur 24, la dernière fois que j'ai posé une question sur la configuration de la ligne TK à trois heures au milieu de la nuit, on m'a répondu en quelques secondes.
4. supporte le protocole socks5, certains scénarios spéciaux que le proxy http stable

En particulier, leurIP résidentielle statiqueLes 35 dollars par mois peuvent être liés au serveur, ce qui permet de réaliser des projets de surveillance à long terme et d'économiser de l'argent. Récemment, les forfaits flexibles à facturation horaire ont également été abandonnés, ce qui permet aux petites équipes de ne pas souffrir.

Enfin, ne vous contentez pas de regarder le prix lorsque vous choisissez un service proxy. Les IP résidentielles d'ipipgo sont toutes des ressources d'opérateurs locaux, le degré de camouflage avec des personnes réelles sur Internet est le même que celui d'un cheveu, ce qui est le cœur de l'anti-blocage.