Laravel Open Source Crawler Anwendung Gebäude Tutorial

Erstens: Warum wird Ihr Crawler immer von der Website gezogen?

Brüder, die sich mit der Datenerfassung befasst haben, kennen diese Situation sicher: Man lässt ein gutes Crawler-Programm laufen, und plötzlich sind die403 Verweigerung des Zugangsoder erhalten eine Reihe von CAPTCHAs. Im Klartext: Ihre IP wird von der Website ins Visier genommen. Gewöhnliche Crawler mit festen IP verzweifelte Anfrage, genau wie halten einen Lautsprecher vor den Häusern der Menschen schreien "Ich will Daten zu stehlen", nicht blockieren Sie blockieren, wer?

Hier bringen wir unsere Retter zum Vorschein -Proxy-IPDie IP-Adresse wird jedes Mal geändert, wenn eine Anfrage über professionelle Dienste wie ipipgo gestellt wird. Durch ipipgo diese Art von professionellen Dienstleistungen, jede Anfrage für eine andere IP-Adresse, gleichbedeutend mit dem Crawler zu einer Vielzahl von "Gesichtsmasken" tragen. Zum Beispiel, die ursprüngliche 1.000 Anfragen in einer Stunde mit 1 IP, jetzt durch 100 IP wiederum senden ersetzt, jede IP nur 10-mal senden, kann die Website Wind Control System nicht erkennen, Anomalien.

Zweitens, Hand zu bauen Laravel Crawler

Wir sollten uns nicht mit dem Schreiben von Code beeilen, wir müssen unsere Sachen fertig machen:

1. Installation von PHP 7.4+ und Composer
2. Erstellen Sie ein neues Laravel-Projekt:composer erstellen-projekt laravel/laravel crawler
3. Installieren Sie Goutte, das Crawler-Tool:Komponist benötigt fabpot/goutte

Der Kerncode besteht eigentlich nur aus drei Teilen (lassen Sie sich vom Fachjargon nicht abschrecken):

// Erstellen Sie eine neue CrawlCommand.php in app/Konsole/Befehle.
public function handle()
{
    $proxy = 'http://用户名:密码@gateway.ipipgo.com:9020'; // ipipgo's proprietäres Proxy-Format
    $goutte = neuer Client();
    $goutte->setClient(new HttpClient(['proxy' => $proxy]));

    // Spezifische Erfassungslogik...
}

Drittens, die praktischen Fähigkeiten des Proxy IP

Es reicht nicht aus, Proxys verwenden zu können, dieselebensrettende TechnikMuss beherrscht werden:

Besondere Erinnerung: Speichern Sie die Zeitüberschreitung nicht! Es wird empfohlen, connect_timeout auf 5 Sekunden und request_timeout auf 30 Sekunden zu setzen, um zu vermeiden, dass eine bestimmte IP das gesamte Programm blockiert.

IV. QA-Zeit: ein Muss für Neulinge

F: Was soll ich tun, wenn meine Proxy-IP häufig keine Verbindung herstellt?
A: 80 % von ihnen verwenden Proxys von schlechter Qualität. Empfehlen Sie ipipgo'sBusiness Level Agent PaketDie IPs in ihrem Haus verfügen über eine Survival-Erkennung, und die gemessene Verbindungserfolgsrate kann bis zu 99,2% betragen.

F: Wie kann ich die zu langsame Sammelgeschwindigkeit unterbrechen?
A: Zwei Tricks: ① verwenden Sie ipipgo'sMultithreading-Agentenpool② Aktivieren Sie die dauerhafte HTTP-Verbindung, um die Anzahl der TCP-Handshakes zu reduzieren.

F: Wie kann ich feststellen, ob ein Bevollmächtigter anonym ist?
A: Besuchen Sie http://httpbin.org/ip. Wenn die Proxy-IP anstelle Ihrer echten IP zurückgegeben wird, bedeutet dies, dass der High Stash Proxy von ipipgo in Kraft ist.

V. Upgrade Play: Verteilte Crawler

Wenn das Einzelgerät nicht mehr ausreicht, ist es an der Zeit, dieverteilte ArchitekturHoch. Verwenden Sie Redis als Aufgaben-Warteschlange, mehrere Server laufen zur gleichen Zeit, jede Maschine von ipipgo gelten für ein anderes IP-Segment. Dies ist kein Traum, um Millionen von Daten pro Tag zu sammeln, und es ist nicht leicht, durch Anti-Crawling-Strategien ausgerichtet werden.

Ein letztes Wort der Vorsicht: Wählen Sie einen Proxy-Dienst nicht zu billig aus! Einige freie Agenten werdenStehlen von AntwortinhaltenoderErfassen Sie Ihre AnfragedatenDas erste, was Sie tun müssen, ist, eine regelmäßige Dienstleister wie ipipgo verwenden. Verwenden Sie ipipgo diese Art von formalen Dienstleister, ist die Datensicherheit gewährleistet, aus dem Problem kann auch technische Kundendienst Echtzeit-Bearbeitung zu finden.