Crawling von Bildern aus Websites: Lösungen für das Crawling von Bildern im Internet

Erstens: Warum wird die Bilderfassung immer blockiert? Vielleicht liegt es an der IP, die das Problem verursacht

Engagiert in der Web-Crawler Freunde verstehen, harte Arbeit, um eine gute Erfassung Skript zu schreiben, läuft plötzlich gestoppt. Browser gibt 403, Sperrung Warnungen, und sogar direkte IP-Blockierung - diese Sache ist aller Wahrscheinlichkeit nach die Website erkennt dieMerkmale von HochfrequenzbesuchenDie folgenden sind einige der Gründe für diese. Gewöhnliche Benutzer besuchen die Website, der Server, um zu sehen, die IP-Adresse sind dynamische Änderungen, aber wir verwenden das Skript, um die Daten zu erfassen, ist die IP-Adresse wie eine ID-Karte von der Website in einem kleinen Buch.

Um ein praktisches Beispiel zu geben: eine E-Commerce-Plattform zu konkurrierenden Produkten Karte zu fangen, nur mit einer festen IP kontinuierliche Anfrage, weniger als eine halbe Stunde wird als Crawler identifiziert werden. Zu diesem Zeitpunkt ist es notwendig, umProxy-IP-Poolum echtes Nutzerverhalten zu simulieren und den Server glauben zu lassen, dass jede Anfrage von einer anderen Person gestellt wird.

Zweitens: Hand, um Ihnen die Verwendung der Proxy-IP-Erfassungskarte beizubringen

Hier ist ein Beispiel in Python, das zeigt, wie man eine sichere Erfassung über den Proxy-Dienst von ipipgo implementiert:

Anfragen importieren
von bs4 importieren BeautifulSoup

 Konfigurieren Sie die ipipgo-Proxy-Parameter (denken Sie daran, sie durch Ihr eigenes Konto zu ersetzen)
proxy_api = "https://api.ipipgo.com/get?key=你的密钥&format=json"

def get_proxy():
    resp = requests.get(proxy_api).json()
    return f "http://{resp['ip']}:{resp['port']}"

url = "Webadresse des Zielbildes"
headers = {'User-Agent': 'Mozilla/5.0'}

 Proxy-IP für jede Anfrage ändern
proxies = {'http': get_proxy(), 'https': get_proxy()}
response = requests.get(url, headers=headers, proxies=proxies, timeout=10)

 Parsen und Herunterladen von Bildern
soup = BeautifulSoup(response.text, 'html.parser')
for img in soup.find_all('img')::
    img_url = img['src']
    with open(img_url.split('/')[-1], 'wb') as f.
        f.write(requests.get(img_url, proxies=proxies).content)

Gezielte Erinnerung:

1. Es muss ein angemessenes Abfrageintervall festgelegt werden (3-5 Sekunden empfohlen)
2. Die Benutzer-Agenten sollten nach dem Zufallsprinzip rotieren.
3. https/http-Proxy muss separat konfiguriert werden

Drittens: Welche Möglichkeiten gibt es, eine Proxy-IP zu wählen?

Auf dem Markt gibt es eine Vielzahl von Vermittlungsdiensten, deshalb hier eine Vergleichstabelle für die Jungs:

Jeder, der ipipgo benutzt hat, weiß, dass sein ZuhauseDynamische Wohn-IPBesonders gut für Bilderfassung. Diese Arten von IPs haben genau die gleichen Eigenschaften wie normales privates Breitband, und es ist unmöglich festzustellen, ob eine Website von einer realen Person besucht oder von einer Maschine betrieben wird.

IV. Leitfaden zur Vermeidung von Fallstricken in der Praxis

Kürzlich bin ich auf ein typisches Problem gestoßen, als ich einem Kunden half, eine Galerie-Website zu crawlen: Natürlich habe ich eine Proxy-IP verwendet, aber das CAPTCHA wurde trotzdem ausgelöst. Das Problem wurde folgendermaßen gefundenProbleme beim Tragen von CookiesTrotz der IP-Änderung wurden die Browser-Fingerabdrücke nicht bereinigt. Die Lösung ist einfach:

 Einpacken der Proxy-Einstellungen außerhalb von requests.Session()
session = requests.Session()
session.proxies.update({'http': get_proxy(), 'https': get_proxy()})

Ein weiterer empfehlenswerter Tipp: Verwenden Sie ipipgo'sPaket zur mengenmäßigen AbrechnungDadurch können mindestens 40% an Kosten eingespart werden, da sie nach Abschluss des Erfassungsprojekts abgeschaltet werden.

V. Kurze Fragen und Antworten auf häufig gestellte Fragen

F: Was soll ich tun, wenn die Geschwindigkeit der Proxy-IP langsam ist und den Download beeinträchtigt?
A: Mit ipipgo's gehenBGP-LeitungEr unterstützt die automatische Auswahl des optimalen Knotens. Die tatsächliche Download-Geschwindigkeit kann bis zu 8 MB/s erreichen, was mehr als 3-mal schneller ist als ein normaler Proxy.

Q：Wie kann man die Anti-Diebstahl-Kette von Bildern durchbrechen?
A: Fügen Sie einfach das Feld Referer in die Kopfzeile der Anfrage ein:

headers['Referer'] = 'Quellenseiten-URL'

F: Muss ich die Proxy-IP selbst pflegen?
A: Verwenden Sie ipipgo'sIntelligentes VersandsystemMachen Sie sich keine Sorgen, die API wird verfallene IPs automatisch aussortieren und auch neue IPs in Echtzeit auffüllen.

Abschließend noch ein Wort der Vorsicht: Die Bilderfassung ist ein langwieriger Kampf, und die Wahl des richtigen Proxy-Dienstanbieters ist die halbe Miete. ipipgo ist erst kürzlich online gegangen!Kostenlose Testversion für neue BenutzerDie 5G des Verkehrs ist genug für einen Test im kleinen Maßstab. Freunde in der Notwendigkeit kann auf der offiziellen Website woolgathering gehen wollen, persönlich versuchen, die Wirkung der zuverlässigsten.