Crawler-Log-Analyse: automatisches Diagnosesystem für abnormale Anfragen

Warum werden Crawler immer wieder von Websites gequetscht?

Engagiert in Crawling-Veteranen verstehen, dass die größten Kopfschmerzen ist die Website plötzlich geben Sie ein Gesicht. Offensichtlich ist der Code reibungslos geschrieben, die Ergebnisse des Protokolls erschien plötzlich ein Bündel von 403, 429, ist es Zeit, eine Lupe zu nehmen, um das Protokoll zu sehen. Aber manuell überprüfen Sie das Protokoll ist wie eine Nadel im Heuhaufen, vor allem mit einer festen IP, die Website-Wind-Steuerung einen Fang.

Um einen realen Fall: Im vergangenen Jahr gibt es ein Team von E-Commerce-Preisvergleich, drei aufeinanderfolgende Tage des Datenvolumens Taille geschnitten. Überprüfung der Protokolle festgestellt, dass sie die feste IP der Peking-Server-Raum verwendet, um eine bestimmte Plattform zu fangen, die ersten 200 Anfragen waren in Ordnung, die 201st Zeit direkt aß die Tür. Dies ist eine typischeIP-Expositionsmerkmale werden identifiziertEs ist dasselbe, als würde man jeden Tag die gleichen Kleider tragen und ins Einkaufszentrum gehen.

Anomalie-Diagnose-System Vier größte Hits

Wir müssen in der Lage sein, unser eigenes Autodiagnosesystem zu entwickeln:

Wie wird die IP-Gesundheit berechnet?

Hier ist eine Jokerformel:
Health Score = (Anzahl der Erfolge × 0,7) - (Anzahl der Ausnahmen × 0,3) - (Reaktionszeit/1000)
Wenn ein IP beispielsweise 100 Erfolge, 20 Ausnahmen und eine durchschnittliche Antwortzeit von 800 ms aufweist, beträgt die Punktzahl (100 x 0,7) - (20 x 0,3) - 0,8 = 68,2 Punkte. Legen Sie eine Grenze von 60 Punkten fest, bei deren Unterschreitung das IP automatisch entlassen wird.

Ich muss ipipgo in diesem Fall zustimmen.Dynamische WohnungsvermittlerSie haben über 2 Millionen private IPs in ihrem privaten IP-Pool, und es dauert bis zu 5 Minuten, um jede IP zu ändern. Wir haben es in der Praxis getestet, und mit dem Healthiness-Algorithmus konnten wir die Bannrate auf unter 3% senken.

Praktisches Tutorial zur Konfiguration

1. der Protokollsammler installiert einen Filebeat und sendet ihn an ES
2. ein Dashboard mit Kibana einrichten und sich auf die Überwachung konzentrieren:
- Stündliche Verteilung der Codes für den abnormalen Status
- Die 10 problematischsten IPs
- Durchschnittliche Reaktionszeitkurve
3. ein Python-Skript schreiben, um ES-Daten abzufragen und die API von ipipgo aufzurufen, um die IP zu ändern, wenn der Schwellenwert erreicht ist.

Fokussierung auf ipipgo'sAPI-ZugangDas Design der Benutzeroberfläche ist denkbar einfach:

import requests
def get_new_ip(): url = "": url = "ip": url = "ip".
    url = "https://api.ipipgo.com/replace"
    params = {
        "Schlüssel": "Ihr Schlüssel", "Typ": "Wohnsitz
        "type": "residential"
    }
    return requests.get(url, params=params).json()['ip']

Häufig gestellte Fragen QA

F: Wie wähle ich eine Proxy-IP, ohne auf Minen zu treten?
A: Denken Sie an die drei "Don'ts": Verwenden Sie keine Rechenzentrums-IP (sie ist leicht zu identifizieren), keine gemeinsam genutzte IP (Sie tragen die Schuld am Tod Ihrer Nachbarn), und seien Sie nicht gierig nach einer billigen IP (alles unter 50 Cent/GB ist definitiv ein Problem). Exklusive Proxys für Wohngebiete wie ipipgo sind etwas teurer, aber stabil wie ein alter Hund.

F: Wie oft sollte ich eine Protokollanalyse durchführen?
A: Die Protokolle werden während der Hauptgeschäftszeiten alle 15 Minuten überprüft und können in den Nebenzeiten auf 1 Stunde reduziert werden. Wenn Sie abnormale IPs finden, isolieren Sie sie sofort, und seien Sie nicht böse über die Proxy-Gebühr.

F: Wird der IP-Wechsel stattdessen zu oft anerkannt?
A: Hier ist ipipgo besonders clever: Seine IP-Zuweisungsstrategie simuliert den Arbeitsrhythmus echter Menschen. Zum Beispiel wird die IP-Zuteilung am Morgen gekürzt und die Häufigkeit der Umschaltungen am späten Abend reduziert, um die Arbeits- und Ruhezeiten der Menschen zu synchronisieren.

Was ist der größte Vorteil dieses Systems? Letzten Monat hat ein Kunde Autodiagnose + ipipgo proxy eingesetzt. Ursprünglich brauchte er 3 Stunden pro Tag, um das Blockierungsproblem zu lösen, jetzt kümmert sich das System um sich selbst, und der Mitarbeiter für Betrieb und Wartung kann endlich rechtzeitig Feierabend machen.