Python Image Grabber: Batch Downloader

Wenn Sie immer von der IP blockiert werden, versuchen Sie diesen Trick!

Brüder in Netzwerk-Crawler beschäftigt verstehen, Batch unter dem Bild der größten Kopfschmerzen ist die IP blockiert wird. Am Morgen ist das Skript noch gut läuft, und am Nachmittag, wird es Ihnen eine403 VerbotenDies ist die Zeit, um den Proxy IP diese Rettungsweste herauszuziehen. Heute werden wir Python verwenden, um ein Bild Downloader mit einem Schild zu bekommen, mit ipipgo Proxy-Service zu schützen.

Warum ist es in Ordnung, keine Proxy-IP zu verwenden?

Es gibt drei Hauptkriterien, die eine Website vor Crawlern schützen:Anfragehäufigkeit, IP-Spuren, BenutzereigenschaftenEin Beispiel dafür ist das Folgende. Gewöhnliche Crawler verwenden feste IP-Adressen, um Anfragen zu senden. Das ist so, als würde dieselbe Person 100 Mal pro Minute an die Tür klopfen - wenn das Sicherheitspersonal Sie nicht blockiert, wer wird dann blockiert? Die Verwendung einer Proxy-IP ist so, als würde man jedes Mal mit einer anderen Weste an die Tür klopfen, so dass das Sicherheitspersonal einen überhaupt nicht erkennt.

 Beispiel einer Kernkonfiguration für Proxy-IPs
proxies = {
    'http': 'http://用户名:密码@gateway.ipipgo.com:9020',
    'https': 'http://用户名:密码@gateway.ipipgo.com:9020'
}

Hand in Hand mit der Umwelt

Installieren Sie diese wichtigen Bibliotheken zuerst (denken Sie daran, dass es schneller ist, sie mit dem Tsinghua-Quellcode zu installieren):

pip install requests pillow retrying -i https://pypi.tuna.tsinghua.edu.cn/simple

Fokussierung auf die ipipgo-Konfiguration Tür: auf ihre Backend zu bekommenLink zur API-ExtraktionVorgeschlagene AuswahlmöglichkeitenLanglebige statische IPPaket überlebt diese IP lange und eignet sich besonders für Crawling-Aufgaben, die kontinuierliche Arbeit erfordern.

Der Code ist so geschrieben, dass er nicht blockiert werden kann.

Schauen Sie sich dieses Band an.Dreifacher Schutzdes Codes:

von retrying import retry
import requests
from urllib.parse import urlparse

def download_img(url, save_path): headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)
    headers = {'Benutzer-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'}

     Die Proxy-IP dynamisch von der ipipgo-Schnittstelle abrufen
    proxy = requests.get("https://ipipgo.com/fetchproxy?type=json").json()

    @retry(stop_max_attempt_number=3)
    def _download().
        resp = requests.get(url, headers=headers.
                          proxies={"http": proxy['proxy']},
                          timeout=15)
        resp.raise_for_status()
        with open(save_path, 'wb') as f.
            f.write(resp.content)

    try.
        _download()
    except Exception as e.
        print(f "Download fehlgeschlagen: {str(e)}, IP von ipipgo geändert...")
        return False
    return True

Alter Treiber QA Zeit

F: Was sollte ich tun, wenn die Proxy-IP plötzlich nicht mehr funktioniert?
A: Der Heimat-IP-Pool von ipipgo hat5 Sekunden automatische UmschaltungMechanismus, fügen Sie einfach eine Wiederholungsschleife in den Code ein. Wenn Sie auf eine tote IP stoßen, kann ihr Backend den Knoten auch manuell aktualisieren.

F: Woher weiß ich, ob die Vollmacht wirksam ist?
A: Fügen Sie eine Erkennungslogik in den Code ein, besuchen Sie http://ip.ipipgo.com/checkip vor dem Herunterladen, um zu sehen, ob die zurückgegebene IP eine Proxy-IP ist.

F: Was ist, wenn ich einen Multithreading-Download öffnen möchte?
A: ipipgo'sEnterprise-PaketUnterstützung der gleichzeitigen 500-IP-Gleichzeitigkeit, jeder Thread mit einem unabhängigen Proxy, denken Sie daran, den Timeout auf mehr als 30 Sekunden einzustellen.

Formular Leitfaden zur Vermeidung von Fallstricken

Sagen Sie die Wahrheit.

Glauben Sie nicht an diese kostenlosen Proxies, ganz zu schweigen von der langsamen Geschwindigkeit, kann auch Trojanische Pferde enthalten. ipipgo Ich habe für ein halbes Jahr verwendet, der größte Vorteil ist, dassIP-Adresse kann ausgewählt werdenWenn Sie Bilder aus einer beliebigen Region abrufen möchten, wählen Sie einfach den Knotenpunkt. Vor kurzem haben sie eine Kampagne, neue Benutzer erhalten 10G von Verkehr, füllen Sie den Promo-Code, wenn Sie sich anmelden!IMG2024Außerdem erhalten Sie zusätzliche 5G, genug um zehntausende von Bildern herunterzuladen.

Ein letzter Hinweis: Stellen Sie die Verzögerung nicht zu niedrig ein! Manche Websites verlangsamen ihre Antwortzeiten absichtlich, und wenn Sie eine Zeitüberschreitung von 10 Sekunden oder weniger einstellen, können Sie sie leicht falsch einschätzen. Wenn Sie ipipgo verwenden, wird empfohlen, dieZeitüberschreitung auf 15-20 SekundenDie Erfolgsquote kann um 30 % steigen.