Verteiltes Crawling-System: Praxisfall Sellerie

Celery trifft auf Proxy-IP, das Problem der Datenerfassung ist gelöst!

Do Daten crawl Freunde verstehen, Stand-alone-Crawler ist wie das Trinken Perle Milch Tee mit einem Strohhalm - saugen, um die Rückseite ist immer ein Bündel von Perlen links zu saugen oben. Dieses Mal müssen wir aus der verteilten Crawling-System zu bewegen, und Celery diese Aufgabe Warteschlange Tool ist definitiv ein guter Helfer. Aber heute konzentrieren wir uns darauf, wie man es mit einem Proxy-IP dieses "Plug-in" geben, vor allem mit ipipgo Service, um durch die Erfassung Engpass zu brechen.

Warum muss ich eine Proxy-IP verwenden?

Ein Beispiel aus der Praxis: Im letzten Jahr hat ein Team, das sich mit Preisvergleichen im E-Commerce beschäftigt, mit seinem Celery-Cluster täglich 3 Millionen Warendaten erfasst. Als Ergebnis, eines Tages plötzlich festgestellt, dassDie Zielseite blockierte alle ihre IP-Segmente.Das ganze Unternehmen wurde einfach stillgelegt. Dies ist eine typische Lektion in Sachen "Eier in einen Korb legen".

Hier kommen die dynamischen IP-Pools von ipipgo ins Spiel. Ihre Dienste werden unterstützt:

Praktische Konfiguration von Celery + Proxy IP

Hier ein praktischer Tipp:Proxy-Konfiguration nicht in Code schreiben! Das Richtige ist es, dies mit Umgebungsvariablen zu verwalten:

 In der Celery-Konfiguration
BROKER_URL = 'redis://localhost:6379/0'
IPIPGO_PROXY = os.environ.get('IPIPGO_PROXY')

Übergeben Sie den Parameter dann auf diese Weise beim Starten des Workers:

IPIPGO_PROXY="http://user:pass@gateway.ipipgo.com:9021" celery -A proj worker

Dies hat den Vorteil, dass Sie den Code nicht ändern müssen, wenn Sie den Proxy wechseln, was vor allem für Personen von Vorteil ist, dieMulti-geografische IP-RotationSzenarien. ipipgo's API kann direkt Exit-IPs für verschiedene Städte generieren, was besonders nützlich für Projekte ist, die die Verteilung von realen Nutzern simulieren müssen.

Ein Leitfaden zur Vermeidung der Grube (Blut und Tränen)

1. Seien Sie nicht geizig und verwenden Sie kostenlose ProxysWie bereits getestet, beträgt die durchschnittliche Antwortzeit von kostenlosen Proxys mehr als 8 Sekunden, während die Premium-Leitungen von ipipgo innerhalb von 1,2 Sekunden gedrückt werden können.

2. einen vernünftigen Wiederholungsmechanismus einrichten: Es wird empfohlen, einen exponentiellen Backoff-Algorithmus wie den folgenden zu verwenden:

@task(
    autoretry_for=(TimeoutError, ),
    retry_backoff=30,
    max_retries=3
)

3. IP-Qualitätstests dürfen nicht unterschätzt werdenDas ipipgo-Admin-Backend enthält diese Funktion bereits, aber es ist sicherer, eine eigene Doppelversicherung zu schreiben.

Praktische Q&A QA

F: Wie verwaltet der Celery Cluster eine große Anzahl von Proxy-IPs?
A: Wir empfehlen die Verwendung von redis, um IP-Pool-Warteschlange, mit Lua-Skript, um atomaren Betrieb zu erreichen. ipipgo API kann direkt zurück mehrere IP, mit dem RPUSH-Befehl in die Warteschlange auf der Linie!

F: Was sollte ich tun, wenn ich auf ein CAPTCHA stoße?
A: Es muss in Verbindung mit ipipgo'sLanglebige statische IPoben. Fixieren Sie Aufgaben, die eine CAPTCHA-Erkennung erfordern, auf eine bestimmte IP für die anschließende Verarbeitung auf der Codierungsplattform

F: Wie kann die tatsächliche Wirkung des Mittels getestet werden?
A: bauen ihre eigenen Erkennungsdienst, regelmäßige Besuche auf http://httpbin.org/ip. ipipgo Benutzer können direkt die Erkennung Schnittstelle, die sie bieten, die Rückkehr Informationen können in der IP verbleibenden Gültigkeitsdauer gesehen werden

Warum ipipgo?

Nachdem ich sieben oder acht Vermittlungsdienste in Anspruch genommen hatte, schloss ich ihn schließlich aus drei Hauptgründen aus:

1. DedizierteDaten Crawl Optimierung RouteIm Gegensatz zu einigen Dienstanbietern, die Crawler-Verkehr mit regulären Nutzern mischen
2. Der Kundendienst reagiert schnell, das letzte Mal, als ich IP nicht verbinden kann, 10 Minuten, um den neuen Kanal zu ändern!
3. Transparente Gebühren ohne versteckte Fallstricke und ein Abrechnungsmodell pro Nutzung, das besonders für kleine Teams geeignet ist.

Sie haben vor kurzem ein neuesBezahlung pro ErfolgDas Modell der fehlgeschlagenen Crawl ist nicht in Rechnung gestellt, die ein Segen für Projekte, die Kosten zu kontrollieren müssen ist. Brauchen Sie Erfahrung kann direkt auf der offiziellen Website gehen, um eine 3-Tage-Testversion zu erhalten, denken Sie daran, "verteilt Crawler Special", dass Paket zu wählen.

Eine letzte Erkenntnis: Je mehr Selleriearbeiter Sie haben, desto besser. Als Faustregel gilt.2-3 Arbeiter pro CPU-KernDie kostengünstigste Lösung ist, die IP-Pool-Größe von ipipgo zu kombinieren. Zum Beispiel, 8-Core-Maschine mit 20 Arbeitnehmern, während die Aufrechterhaltung 50 verfügbaren IP, hat dieses Verhältnis durch eine Reihe von Projekten überprüft worden, kann Crawling-Effizienz um mehr als 4 mal verbessert werden.