Exemple Pythonrequests : base de code pour les requêtes HTTP

Regardez ici si vous êtes engagé dans Python crawler ! IP proxy pour éviter le blocage !

Récemment, de nombreux collègues chargés de la collecte de données se sont demandé pourquoi leur propre crawler était bloqué. Il s'agit d'une question de fait, tout comme le fait de jouer le jeu d'ouvrir la porte à une raison...La même demande folle d'IP, les sites web des gens ne bloquent pas, vous bloquez qui ?Cette fois-ci, vous avez besoin d'un proxy IP comme substitut, aujourd'hui nous prenons la bibliothèque de requêtes Python comme marronnier.

demandes d'importation

proxies = {
    'http' : 'http://username:password@gateway.ipipgo.com:9020',
    'https' : 'http://username:password@gateway.ipipgo.com:9020'
}

response = requests.get('http://目标网站.com', proxies=proxies)
print(response.text)

Notez ici un point essentiel :Le nom d'utilisateur et le mot de passe doivent être remplacés par le compte que vous avez enregistré auprès de l'ipipgo.L'adresse de leur serveur proxy est gateway.ipipgo.com et le numéro de port change en fonction du paquet. Il est recommandé d'aller directement sur le site officiel pour trouver la dernière configuration, ne vous faites pas d'illusions.

Trois types de furtivité pour les IP proxy

Beaucoup de Blancs ne savent pas que l'agent est aussi divisé en niveaux, voici une science simple :
Agent transparent(le site peut voir votre IP réelle) → Agent général(cache l'IP mais expose l'identité du proxy) ¡ú Agents à forte valeur ajoutée(furtivité totale). Pour les crawlers, vous devez utiliser une grande réserve, nous recommandons ipipgo !Paquet diamantle taux de détection anti-grippe mesuré peut chuter de 70%.

Cinq conseils pour éviter les pièges dans le monde réel

1. Ne soyez pas paresseux avec les paramètres du délai d'attenteLe délai d'attente par défaut pour les demandes n'est pas limité, de sorte que si vous rencontrez un proxy lent, votre application sera bloquée jusqu'à la fin du temps imparti.

response = requests.get(url, proxies=proxies, timeout=10)

2. La rotation des PI devrait être aléatoireL'API d'ipipgo peut obtenir dynamiquement un pool d'IP de sorte que chaque requête utilise une nouvelle IP !

3. La gestion des exceptions ne doit pas être sous-estimée: Réessayer automatiquement en cas d'échec de la connexion, mais ne pas faire d'impasse.

essayer.
    response = requests.get(url, proxies=proxies)
except requests.exceptions.ProxyError : print("Le proxy a des problèmes, essayez une autre IP")
    ProxyError : print("Le proxy ne fonctionne pas, essayez une autre IP")

Cas réel : Surveillance des prix du commerce électronique

L'année dernière, j'ai aidé un ami à créer un système de comparaison de prix pour une entreprise de commerce électronique, et j'ai utilisé le logiciel Business Edition d'ipipgo.500 sondages IP toutes les 5 minutesa fonctionné pendant 3 mois sans être banni. Voici un conseil :Différentes pages de produits sont consultées avec des adresses IP régionales différentes.ce qui le fait ressembler davantage à un véritable utilisateur.

Foire aux questions QA

Q : Que dois-je faire si mon IP proxy tombe soudainement en panne ?
R : Vérifiez d'abord le solde de votre compte, puis utilisez l'outil de test en ligne fourni par ipipgo pour mesurer la disponibilité des IP. Il est recommandé de sélectionner au hasard une IP dans le pool d'IP avant chaque demande.

Q : Comment puis-je savoir si un agent a une forte capacité de stockage ?
R : Visitez http://httpbin.org/ip, si l'IP renvoyée n'est pas la même que votre IP réelle et qu'il n'y a pas d'en-tête X-Forwarded-For, il s'agit d'une véritable cachette.

Q : Comment attribuer des adresses IP à plusieurs robots d'exploration en même temps ?
R : Utilisez la fonctionCanal dédié multithreadL'adresse IP de chaque thread est indépendante de l'adresse IP de chaque thread afin d'éviter les conflits de ressources.

Dites quelque chose qui vient du cœur.

Au début de l'utilisation des proxys, j'ai aussi marché sur la corde raide, et la pire période, à cause de l'utilisation de proxys gratuits, a conduit au piratage du serveur. Plus tard, j'ai opté pour le service professionnel d'ipipgo et je l'ai découvert.Une IP proxy stable permet d'éviter bien des tracasseries.. En particulier leur fonction de routage intelligent qui sélectionne automatiquement le nœud le plus rapide, cela sent bon.

Un dernier rappel pour les débutants :N'écrivez pas les mots de passe de vos comptes explicitement en code !Il est recommandé d'utiliser des variables d'environnement ou des fichiers de configuration, la sécurité avant tout. Si vous ne comprenez toujours pas, allez directement sur le site officiel du service clientèle technique d'ipipgo, la vitesse de réponse est beaucoup plus rapide que celle de certaines grandes usines.