Images de téléchargement Python : Programme de téléchargement d'images par proxy Python

Pourquoi dois-je utiliser une adresse IP proxy pour télécharger des images ?

Les partenaires du Crawler ont dû rencontrer ce genre de chose - le programme est exécuté soudainement par le site cible pour tirer le noir ! À ce moment-làLes IP proxy vous sauvent la miseLa première chose à faire est d'utiliser votre adresse IP locale pour demander un téléchargement en masse d'images de produits. Par exemple, si vous voulez télécharger en masse les images de produits d'une plateforme de commerce électronique, et si vous n'utilisez que l'IP locale pour faire une demande farfelue, elle sera bloquée en moins d'une demi-heure. Avec le pool d'IP proxy d'ipipgo, chaque demande portant sur un "gilet" différent, le site ne reconnaît tout simplement pas qui vous êtes.

Deuxièmement, Python pour s'engager dans la bonne posture de téléchargements par procuration

Directement sur les produits secs, l'utilisation de la bibliothèque de requêtes pour mettre en œuvre le téléchargement de proxy est en fait très simple. Concentrez-vous sur ces deux paramètres :

demandes d'importation

proxies = {
    'http' : 'http://用户名:密码@ipipgo proxies:port',
    'https' : 'http://用户名:密码@ipipgo proxy:port'
}

response = requests.get('image link', proxies=proxies, timeout=10)
avec open('image.jpg', 'wb') as f.
    f.write(response.content)

Voici un piège à éviter :L'adresse proxy d'ipipgo doit être copiée à partir du centre personnel du site officiel.Ne créez pas votre propre format. Il est recommandé d'écrire la configuration du proxy dans un fichier de configuration séparé pour faciliter le changement de lot.

Troisièmement, l'adresse IP du proxy est bien choisie, ce qui permet de quitter le travail plus tôt !

Les points suivants doivent être pris en compte lors du choix d'un fournisseur de services de procuration :

Se concentrer sur le contrôle de la concurrence : l'utilisation du système de gestion de la concurrence de l'ipipgoFonction de routage intelligentIl peut attribuer automatiquement différentes IP d'exportation, ce qui est beaucoup moins gênant que de changer manuellement. Le test réel de téléchargement de 1000 images a duré 25 minutes avec un proxy ordinaire et 13 minutes avec son service.

IV. les lignes directrices en matière de premiers secours pour les situations de renversement les plus courantes

QA 1 : Que dois-je faire si l'agent ne parvient soudainement pas à se connecter ?
Vérifiez d'abord que le compte n'a pas expiré, puis essayez leurpoint d'accès alternatif(documentation du site officiel). Si cela ne fonctionne pas, n'oubliez pas d'envelopper le code de la requête dans un try-except et de mettre en place un mécanisme de réessai automatique.

QA 2 : Qu'est-il advenu des images téléchargées corrompues ?
Quatre-vingt pour cent des interruptions de transmission sont dues à l'instabilité du réseau proxy. Suggestion : ①Enable ipipgo'scompression des donnéesFonction ② Augmentation du délai d'attente à 15 secondes ③ Ajout d'un contrôle de l'intégrité des données :

if len(response.content) == int(response.headers['Content-Length']): :
     Enregistrer l'image
else.
     Télécharger à nouveau

V. Techniques avancées pour les maîtres

1. utiliserIO asynchroneAssociez-le à un pool de proxy et la vitesse augmente immédiatement :
Avec la bibliothèque aiohttp + l'acquisition dynamique de proxy par l'API ipipgo, l'efficacité de téléchargement du test réel a été multipliée par plus de 5.

2. les fausses empreintes digitales du navigateur :
Il ne suffit pas de changer l'IP, il faut aussi ajouter User-Agent et Referer dans les en-têtes. ipipgo'sPaquet de camouflage du navigateurL'ensemble des en-têtes de requête peut être généré directement.

3. la journalisation n'est pas une option :
Il est recommandé d'enregistrer le taux de réussite de chaque IP proxy afin d'éliminer automatiquement les nœuds peu performants. Le backend d'ipipgo dispose déjà de cette fonction statistique, vous pouvez donc obtenir les données en interrogeant directement l'API.

Une dernière leçon sanglante :N'utilisez jamais de proxies gratuits !J'ai déjà utilisé le service gratuit pour éviter les problèmes, mais les images que j'ai téléchargées étaient mélangées à un tas de publicités, et j'ai failli être tué par mon patron. Maintenant j'utilise le service payant d'ipipgo depuis plus de deux ans, je n'ai jamais eu de problème, c'est un peu cher, mais c'est la stabilité et l'inquiétude qui l'emportent.