Extraction d'images à partir de sites web : solutions d'extraction d'images sur le web

Premièrement, pourquoi la capture d'images est-elle toujours bloquée ? C'est peut-être l'IP qui est à l'origine du problème.

Engagé dans le web crawler amis comprendre, le travail acharné pour écrire un bon script de capture, l'exécution soudainement arrêté. Le navigateur renvoie 403, des alertes de blocage, et même un blocage direct de l'IP - il est fort probable que le site reconnaisse l'identité de l'auteur de la capture.Caractéristiques des visites à haute fréquenceVoici quelques-unes des raisons de cette situation. Les utilisateurs ordinaires visitent le site, le serveur voit l'adresse IP comme un changement dynamique, mais nous utilisons des scripts pour capturer les données, l'adresse IP est comme une carte d'identité par le site dans un petit livre.

Pour donner un exemple pratique : une plate-forme de commerce électronique pour attraper des produits concurrents, unique avec une IP fixe demande continue, moins d'une demi-heure sera identifié comme un crawler. À ce moment-là, il est nécessaire depool d'IP proxypour simuler le comportement d'un utilisateur réel et faire croire au serveur que chaque demande est effectuée par une personne différente.

Deuxièmement, vous apprendrez à utiliser la carte de capture d'IP par proxy.

Voici un exemple en Python qui montre comment mettre en œuvre une capture sécurisée via le service proxy d'ipipgo :

import requests
from bs4 import BeautifulSoup

 Configurez les paramètres du proxy ipipgo (n'oubliez pas de les remplacer par votre propre compte)
proxy_api = "https://api.ipipgo.com/get?key=你的密钥&format=json"

def get_proxy() :
    resp = requests.get(proxy_api).json()
    return f "http://{resp['ip']}:{resp['port']}"

url = "Adresse web de l'image cible"
headers = {'User-Agent' : 'Mozilla/5.0'}

 Modifier l'IP du proxy pour chaque requête
proxies = {'http' : get_proxy(), 'https' : get_proxy()}
response = requests.get(url, headers=headers, proxies=proxies, timeout=10)

 Analyse et téléchargement des images
soup = BeautifulSoup(response.text, 'html.parser')
for img in soup.find_all('img'): :
    img_url = img['src']
    with open(img_url.split('/')[-1], 'wb') as f.
        f.write(requests.get(img_url, proxies=proxies).content)

Rappel ciblé :

1. Un intervalle de requête raisonnable doit être défini (3-5 secondes recommandé).
2. Les agents-utilisateurs doivent faire l'objet d'une rotation aléatoire.
3. proxy https/http à configurer séparément

Troisièmement, quelles sont les portes d'entrée pour choisir une IP proxy ?

Il existe toutes sortes de services d'agence sur le marché. Voici donc un tableau comparatif pour les hommes :

Tous ceux qui ont utilisé ipipgo savent que leur maisonIP résidentielle dynamiqueParticulièrement adapté à la capture d'images. Ces types d'IP ont exactement les mêmes caractéristiques que le haut débit domestique ordinaire, et il est impossible de savoir si un site web est visité par une personne réelle ou s'il est exploité par une machine.

IV. guide pour éviter les pièges sur le terrain

Récemment, j'ai rencontré un problème typique lorsque j'ai aidé un client à explorer le site web d'une galerie : j'ai évidemment utilisé une IP proxy, mais le CAPTCHA s'est tout de même déclenché. Le problème s'est avéré êtreProblèmes de portage de cookies-Malgré le changement d'IP, les empreintes du navigateur n'ont pas été nettoyées. La solution est simple :

 Enveloppez les paramètres du proxy à l'extérieur de requests.Session()
session = requests.Session()
session.proxies.update({'http' : get_proxy(), 'https' : get_proxy()})

Autre conseil recommandé : utilisez la fonctionforfait de facturation basé sur la quantitéCela permettra d'économiser au moins 40% en le désactivant dès que le projet de capture sera terminé.

V. Questions rapides et réponses aux questions fréquemment posées

Q : Que dois-je faire si la vitesse de l'IP proxy est lente et affecte le téléchargement ?
A : Choisir celui d'ipipgoLigne BGPIl prend en charge la sélection automatique du nœud optimal. La vitesse de téléchargement réelle peut atteindre 8MB/s, ce qui est plus de 3 fois plus rapide qu'un proxy normal.

Q：Comment briser la chaîne d'images anti-vol ?
R : Il suffit d'ajouter le champ Referer à l'en-tête de la requête :

headers['Referer'] = 'URL de la page source'

Q : Dois-je assurer moi-même la maintenance de l'IP proxy ?
R : Utilisez la fonctionSystème de répartition intelligentNe vous inquiétez pas, l'API éliminera automatiquement les adresses IP périmées et réapprovisionnera les nouvelles adresses IP en temps réel.

Enfin, une mise en garde s'impose : la capture d'images est un combat de longue haleine, et le choix du bon fournisseur de services proxy ne représente que la moitié de la bataille. ipipgo vient tout juste d'être mis en ligne !Essai gratuit pour les nouveaux utilisateursLe trafic 5G est suffisant pour un test à petite échelle. Les amis qui en ont besoin peuvent se rendre sur le site officiel de woolgathering, pour tester personnellement l'effet de la technologie la plus fiable.