Verteilte Aufgabenwarteschlange in der Praxis: Celery + Redis Millionen URL-Management

Wenn der Crawler auf die Proxy-IP trifft: Wie kann man die Millionen-Dollar-Aufgabe spielen, ohne abzustürzen?

Do Datenerhebung Brüder sollten verstehen, harte Arbeit, um ein Crawler-Skript zu schreiben, die Ergebnisse nur bis auf die Ziel-Website blockiert IP laufen, ist das Gefühl, wie Nudeln zu essen fand keine Würze Pakete. Zu dieser ZeitVerteilte Aufgaben-Warteschlange + Proxy-IP-PoolDie Kombination von Schlägen wird sich als nützlich erweisen, nehmen wir Celery + Redis heute dieses Paar von goldenen Partnern zu sagen.

Express-Sortierung Aufgabenbearbeitung

Stellen Sie sich vor, Sie betreiben eine Kurierstation mit Millionen von Paketen, die jeden Tag sortiert werden müssen. celery ist wie ein intelligenter Sortierer, der die Lieferungen aus verschiedenen Regionen automatisch auf verschiedene Förderbänder (Worker Nodes) verteilt. Aber es gibt einen Fallstrick, den Sie beachten sollten:Nicht alle Sortierer (Arbeiter) holen die Lieferungen von derselben Tür (IP-Adresse) ab.Andernfalls wird Ihnen der Eigentümer der Bühne (die Zielseite) innerhalb weniger Minuten den Stecker ziehen.

Es ist an der Zeit, unsereipipgo dynamischer Proxy-PoolDas ist so, als ob man für jeden Sortierer einen anderen Overall (IP-Adresse) hätte. In dieser Tabelle finden Sie die genaue Konfiguration:

Der Anti-Kapselungs-Trick von Sellerie

Vergraben Sie einen Haken im Aufgabendekorator, um die IP vor jeder Ausführung der Aufgabe automatisch zu ändern. eine Kastanie:

@task(bind=True)
def crawl_url(self, url).
    current_ip = ipipgo.get_proxy() Hier wird die API von ipipgo aufgerufen.
    headers = {'X-Forwarded-For': current_ip}
     Denken Sie daran, einen Mechanismus zur Wiederholung von Ausnahmen hinzuzufügen

Achten Sie darauf, es wie gebratenes Sushi zu essen.Anforderung eines ZufallsintervallsSenden Sie keine Anfragen, als ob Sie seit drei Tagen hungrig wären. Es wird empfohlen, in der Celery-Konfiguration ein rate_limit einzufügen, z. B. bis zu 60 Mal pro Minute.

Redis Storage Riot Operationen

Man kann nicht einfach Millionen von URLs im Speicher ablegen, aber so geht's.das Große Gesetz der Trennung (GLOS)::

• Bank 0: zu erfassende Warteschlange (mit Listenstruktur)
• Bank 1: Laufende Aufgaben (sortiert, Zeitstempel)
• Bank 2: Warteschlange für fehlgeschlagene Wiederholungsversuche (Hash-Struktur mit Anzahl der Wiederholungsversuche)

Der Schlüssel dazu ist der Fingerabdruck jeder URL und die Verwendung von MD5, um eine eindeutige ID zu erzeugen, die eine doppelte Erfassung verhindert. Das ist wie eine Auftragsnummer für einen Kurier, um zu verhindern, dass dasselbe Paket zweimal sortiert wird.

Tagebuch eines Boxenstopps im wahren Leben

Ich bin letztes Jahr darauf hereingefallen, als ich einem E-Commerce-Unternehmen bei der Überwachung von Wettbewerbern half:

1. Direktes Ausführen ohne IP-Aufwärmen, das Ergebnis löste die Windkontrolle aus
2. Ein zu aggressiver Wiederholungsprüfungsmechanismus führt zu einer Lawine
3. Proxy-IP-Typ ist eine Geldverschwendung

ersetzt durchipipgo's Smart Routing PaketErst dann ist das Problem gelöst, und seine Familie kann den Serverraum oder die Wohn-IP automatisch mit der Ziel-Website abgleichen, was viel müheloser ist, als es selbst zu tun.

Frage-und-Antwort-Runde

F: Was sollte ich tun, wenn meine Proxy-IP oft ungültig ist?
A: Wahl der UnterstützungAbrufabrechnungDer Dienstanbieter, wie z. B. das Verkehrspaketmodell von ipipgo, nutzt so viel wie möglich, ohne zu verschwenden. Gleichzeitig sollten Sie einen Mechanismus einrichten, um ungültige IPs automatisch auszusortieren, etwa so:

def check_proxy(ip).
    try.
        requests.get('http://check.ipipgo.com', proxies={'http': ip}, timeout=5)
    except: ipipgo.report_failure
        ipipgo.report_failure(ip) kennzeichnet die problematische IP

F: Wie kontrollieren Sie die Agenturkosten?
A: Drei Tricks: ① eine vernünftige Anzahl von Gleichzeitigkeiten einstellen ② zwischen statischen Ressourcen und dynamischen Schnittstellen unterscheiden ③ dieRegionaler gerichteter Proxy für ipipgoEs ist wie eine Bestellung zum Mitnehmen, man muss nicht für die landesweite Lieferung bezahlen.

letzte Worte

Ein verteilter Crawler ist wie die Eröffnung einer Kette von Milchtee-Läden, Celery ist die zentrale Küche, Redis ist das Verteilungssystem, die Proxy-IP ist die Geschäftslizenz jedes Ladens. Wenn Sie zu faul sind, eine eigene Lizenz zu erwerben (um den Proxy-Pool zu pflegen), suchen Sie einfach nach demipipgoRiecht es nicht gut, Zeit zu sparen, um ein paar weitere Pop-up-Milchtees (Datenprodukte) mit einer so professionellen Agentur zu entwickeln?