Ruby Web Crawling: Ruby Crawling Tutorials

Warum werden Ruby-Crawler immer blockiert? Versuchen Sie dies

Vor kurzem haben viele kleine Partner bei der Verwendung von Ruby, um einen Crawler zu schreiben, Kopfschmerzen - die Ziel-Website nicht auf die Sperrung der IP, die ich auch im vergangenen Jahr gepflanzt, wenn drei Tage in Folge zu schreiben, die Crawler-Skript nicht ausgeführt werden kann, so wütend, dass ich fast zertrümmert die Tastatur. Später festgestellt, dassDas Problem ist, dass die IP als Maschinenverkehr erkannt wird.. So wie Sie im Supermarkt immer die gleiche Sorte Instantnudeln kaufen und sich die Kassiererin Ihr Gesicht merken kann, ist der Webserver nicht vegetarisch.

Ruby-Skripte in Cloak and Dagger

Der Schlüssel, um nicht mit einem Crawler erwischt zu werden, ist zu lernen, wie manlit. rotierende WesteAls Erstes müssen Sie sich eine neue IP-Adresse besorgen, und dann müssen Sie sie ändern. Die hier erwähnten Westen sind Proxy-IPs, so als ob man jedes Mal, wenn man in den Supermarkt geht, andere Kleidung anzieht und eine Perücke trägt. Nehmen Sie den Service von ipipgo als Beispiel, sie haben eine riesige Menge an IP-Pools für Privatpersonen, mit einer speziellen Funktion:

erfordern 'net/http'

proxy_addr = 'gateway.ipipgo.com'
proxy_port = 9021

uri = URI('http://目标网站.com')
Net::HTTP.start(uri.host, uri.port, proxy_addr, proxy_port) do |http|
  Antwort = http.get(uri.path)
  puts response.body
end

Beachten Sie im Code, dassproxy_addrim Gesang antwortenproxy_portDiese beiden Parameter sind unsere Stealth-Props. Der Proxy-Server von ipipgo unterstützt eine Vielzahl von Authentifizierungsmethoden, wir empfehlen die Verwendung ihrerBenutzername+Passwort Bindung IPDas Modell ist weit weniger problematisch als diejenigen, die dynamische Captchas erfordern.

Praktischer Leitfaden zur Vermeidung der Grube

Es reicht nicht aus, Proxys zu verwenden. Hier sind ein paar Schlaglöcher, in die ich hineingetreten bin:

Das Wichtigste beim User-Agent ist, dass Sie nicht den Standard-Agent von Ruby verwenden sollten, um Zeit zu sparen. Es wird empfohlen, ein Array mit Dutzenden gängiger Browserkennungen zu erstellen und für jede Anfrage eine zufällig auszuwählen.

Tipps zur Wartung von Raupenfahrzeugen

Die Haltung von Reptilien ist wie die Haltung eines Haustieres, man muss sie regelmäßig füttern und pflegen:

1. Überprüfen Sie die IP-Verfügbarkeitsrate jeden Tag, ipipgo Hintergrund kann die Erfolgsrate von jedem IP sehen
2. Einrichten einer intelligenten Switching-Richtlinie zum automatischen Wechsel der IP-Adresse bei 3 aufeinanderfolgenden Fehlern
3. Ausführung von Aufgaben mit großem Datenvolumen zwischen 2 und 5 Uhr morgens, wenn die Abwehrmechanismen der Website laxer sind

Einmal war ich faul einen halben Monat ohne Wartung, die Ergebnisse eines Tages plötzlich festgestellt, dass die Effizienz des Crawlers nach unten 70%. später festgestellt, dass die Ziel-Website aktualisiert Anti-Climbing-Strategie, rechtzeitige Anpassung der Anfrage Intervall zu speichern zurück.

Häufig gestellte Fragen QA

F: Funktionieren kostenlose Proxys?
A: Niemals! Ich habe letztes Jahr versucht, kostenlose Proxys zu verwenden, und 8 von 10 haben nicht funktioniert, und ich bin auf Phishing-Proxys gestoßen. Dann bin ich zum kostenpflichtigen Dienst von ipipgo gewechselt, und die Stabilität hat sich um drei Stufen verbessert.

F: Muss ich die Proxy-IP häufig ändern?
A: Das hängt vom Geschäftsszenario ab. Wenn es sich um eine hochfrequente Abholung handelt, ist es empfehlenswert, die IP für jede Anfrage zu ändern. Der dynamische Pool von ipipgo hat Millionen von IP-Volumen, was völlig ausreichend ist.

F: Was sollte ich tun, wenn ich auf einer Website nach einem Verifizierungscode gefragt werde?
A: In diesem Fall reicht es nicht aus, einfach nur die IP zu ändern, sondern Sie müssen mit der Kontrolle der Anfragefrequenz zusammenarbeiten. Die Einstellung der Anfrage Intervall zufällig auf 3-8 Sekunden kann effektiv die Wahrscheinlichkeit der Auslösung CAPTCHA reduzieren.

Ein letztes Wort der Vorsicht: Es ist wichtig, ein guter Crawler zu sein.Nachhaltige EntwicklungIch bin mir nicht sicher, ob Sie ein Fan von diesem Thema sind. Letzten Monat, um die Firma eines Freundes Tuning Crawler-System zu helfen, mit ipipgo Proxy-Service + intelligente Scheduling-Strategie, kontinuierlichen und stabilen Betrieb von 28 Tagen ohne blockiert zu werden, ist die Sammlung von Effizienz auch von 40% verbessert. diese Sache mit der Guerilla-Krieg, wie, flexibel und veränderbar ist der König.