Web Crawler Framework: Scrapy Architektur erklärt

Wie sieht das "Skelett" des Scrapy-Frameworks aus?

Schälen wir die Schale von Scrapy ab, um einen Blick darauf zu werfen, ist dieses Ding im Wesentlichen eine Fließbandfabrik. Der Crawler startet mit start_urls und holt sich die Daten, genau wie ein Kuriersortierer, und verarbeitet sie durch Downloader, Middleware und Pipelines. Hier ist eine kalte Variante:Downloader-Middleware: Wo sich Proxy-IPs versteckenDie 90% neuen Hände können sich nicht zurechtfinden.

Warum Proxy-IPs zu Sauerstofftanks für Crawler werden

Um einen realen Fall geben: ein E-Commerce-Website jede Stunde zu 300 IP-Siegel, nicht den Proxy verwenden, kann Ihr Crawler nicht überleben eine Episode. ipipgo dynamische Wohn-Proxy-Pool, jede Anfrage automatisch ändern IP, wie der Crawler installiert unzählige Stuntman. Hier, um Ihnen eine wilde Art und Weise zu lehren - der Proxy-Authentifizierung als Middleware geschrieben:

class ProxyMiddleware(object).
    def process_request(self, request, spider): proxy = "".
        proxy = "http://user:pass@gateway.ipipgo.com:9020"
        request.meta['proxy'] = proxy

Praktische Einstellung der Proxy-Einstellungen von Scrapy

Lassen Sie sich nicht von der offiziellen Dokumentation täuschen, es gibt einen Weg, es in der Praxis zu konfigurieren. Fügen Sie diese Zeilen in die Datei settings.py ein, um die Konfiguration vorzunehmen:

DOWNLOADER_MIDDLEWARES = {
    scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 400,
    your_project.middlewares.ProxyMiddleware': 100
}

IPIPGO_API = "https://api.ipipgo.com/getproxy?type=json&count=5"

Denken Sie daran, den API-Schlüssel für ipipgo in einer Umgebungsvariablen zu speichern, seien Sie nicht dumm und schreiben Sie ihn in Ihrem Code zu Tode. Es wird empfohlen, denZufällige Verzögerung + automatischer WiederholungsversuchDer Mechanismus, zusammen mit dem 5-Sekunden-Schaltpaket von ipipgo, bringt den Anti-Blocking-Effekt voll zur Geltung.

Die drei Fallstricke bei der Verwendung von Proxy-IP (mit einer Anleitung zum Ausweichen)

Fünf gefühlvolle Fragen, die häufig von weißen Menschen gestellt werden

F: Ist es in Ordnung, einen kostenlosen Proxy zu verwenden?
A: Kumpel, hast du jemals ein Michelin-Gericht gesehen, das aus verfaulten Blättern vom Markt zubereitet wurde? ipipgos exklusiver IP-Pool ist der richtige Weg.

Q：Warum wird der Proxy nicht wirksam, nachdem ich ihn eingestellt habe?
A: Überprüfen Sie zunächst die Middleware-Reihenfolge und erfassen Sie dann das Paket, um das Feld X-Forwarded-For im Request-Header zu sehen. Das ipipgo-Kontrollzentrum verfügt über eine Echtzeit-Überwachung des Datenverkehrs.

F: Muss ich einen eigenen IP-Pool unterhalten?
A: Es ist nicht so, als würde man eine Schweinefarm eröffnen. ipipgo verfügt über mehr als 20 Millionen dynamische IP-Pools und unterstützt auch die Anpassung nach geografischen Gesichtspunkten, wodurch Sie Zeit sparen!

F: Was sollte ich tun, wenn ich auf eine menschliche Überprüfung stoße?
A: ipipgo's zweigleisiger Ansatz von Residential Proxy + Browser Fingerprint Emulation wurde persönlich getestet, um 90%'s CAPTCHA zu umgehen.

F: Wie lässt sich prüfen, ob das Mittel wirksam ist?
A: Drucken Sie response.meta['proxy'] in der Parse-Methode aus, oder überprüfen Sie das Nutzungsprotokoll im ipipgo-Backend.

Einem Reptil eine "Tarnkappe" überziehen.

Zum Schluss möchte ich noch einen Konfigurationsplan vorstellen: die Verbindung von ipipgo's API mit dem automatischen Scheduling-System, mit zufälliger UA und Mausspur-Simulation. Denken Sie daran, ein automatisches Alarmmodul in der Scrapy-Erweiterung hinzuzufügen, wenn die IP-Ausfallrate 10% überschreitet automatisch Pakete wechseln. Diese Übereinstimmung nach unten, kann Ihr Crawler wie ein Gopher wie in der Ziel-Site zu und von der freien.

Um ehrlich zu sein, die Proxy-IP ist gut gewählt, der Crawler früh aus der Arbeit. Ich habe die Enterprise Edition von ipipgo benutzt, um zu wissen, was es bedeutet"Ein für alle Mal".Die Teams, die ihre eigenen Proxy-Pools aufbauen, arbeiten schließlich als Sicherheitskräfte für den Serverraum...