Ruby Web Crawler | Nokogiri Effiziente Parsing-Tutorials

Erstens: Warum wird das Crawling von Ruby immer blockiert? Sie vermissen wahrscheinlich dies

Kürzlich half ein Freund Debugging Crawler festgestellt, dass viele Neulinge denken, dass mit Nokogiri kann nur Daten greifen. Als Ergebnis, nur zwei Tage laufen, die Ziel-Website gibt einen 403-Fehler. In der Tat, das Problem istDie Anfragen sind zu homogener Natur-Die gleiche IP wiederholt anfordern, der Server nicht blockieren Sie blockieren, wer?

An dieser Stelle müssen Sie Ihre Ruby-Skripte mit "Mantel und Degen" versehen. Konkret geschieht dies durch dieProxy IP RotationDer Dienst ist so konzipiert, dass jede Anfrage wie ein normaler Benutzer in einer anderen Region aussieht. Zum Beispiel verwenden wir ipipgo's Service, sie bieten dynamische Wohn-IP-Pool, jede Anfrage automatisch die Export-IP wechseln, kann die Erfolgsquote 85% oder mehr erwähnt werden.

Zweitens: 5 Minuten für die Konfiguration des Ruby-Proxys

Die Einrichtung von Proxys in Ruby ist denkbar einfach. Nehmen Sie HTTParty als Beispiel:

erfordern 'httparty'

proxy = "http://user:pass@gateway.ipipgo.com:9020"
response = HTTParty.get('https://target.com', {
  http_proxyaddr: proxy.split('@').last.split(':').first, {
  http_proxyport: proxy.split(':').last.to_i,
  http_proxyuser: proxy.split('://').last.split(':').first,
  http_proxypass: proxy.split(':')[2].split('@').first
})

ZentrumFormat der AuthentifizierungsinformationenViele Neulinge werden Opfer von Fehlern beim Zusammenfügen von Benutzernamen und Passwort. Die Proxy-Adressen von ipipgo haben ein einheitliches Format, also kopieren Sie einfach aus der Dokumentation.

III. 3 Göttliche Tipps für Nokogiri Parsing

Sobald Sie die Seite erhalten haben, ist die Parsing-Stellung wichtig. Teilen Sie uns einige Erfahrungen aus der Praxis mit:

1. Vorrang von CSS-SelektorenCSS-Selektoren sind besser lesbar als XPath. Um zum Beispiel den Preis eines Produkts zu finden, verwenden Siedoc.css('.preis-box .endpreis')

2. Zwangsumwandlung von CodesPanik, wenn Sie auf verstümmelten Code stoßen, sollten Sie zuerstresponse.body.force_encoding('UTF-8')

3. Ausnahmeerfassung: Verwendung vonrescue Nokogiri::SyntaxFehlerBehandlung unsauberer Daten, um einen Absturz des gesamten Skripts zu vermeiden

Viertens, reale Fälle: Preisüberwachungssystem für den elektronischen Handel

Letztes Jahr habe ich ein Preisvergleichssystem mit ipipgo proxy + Ruby erstellt, und die Architektur war wie folgt:

1. mit Sidekiq eine Warteschlange von Crawling-Aufgaben erstellen.
2. zufällige Auswahl des Ausgangsknotens von ipipgo für jede Anfrage.
3) Nokogiri parst und speichert in Redis.
4. stündliche Preisschwankungsberichte generieren

Diese Lösung läuft seit einem halben Jahr kontinuierlich, und die Rate der blockierten IPs ist von 60% auf unter 3% gesunken. Der Schlüssel istDie Qualität der Mittel sollte stabil seinDie Knotenverfügbarkeit von ipipgo liegt seit langem bei 99%, was Wartungsarbeiten erspart.

V. Häufig gestellte Fragen QA

F: Was sollte ich tun, wenn mein Agent langsam ist?
A: Priorität haben Knoten, die räumlich nahe beieinander liegen. ipipgo background kann die Exit-IP einer bestimmten Stadt sperren, z. B. wenn die Ziel-Website in Hangzhou liegt, wählen Sie einen Knoten in Zhejiang.

F: Scheitert das Crawlen von HTTPS-Websites?
A: Überprüfen Sie die OpenSSL-Version von Ruby und fügen Sie dann die HTTParty zu denssl_version: :TLSv1_2Parameter. Wenn das nicht funktioniert, versuchen Sie, den Socks5-Proxy von ipipgo zu ändern.

F: Wie kann ich feststellen, ob eine IP ausgesetzt ist?
A: Fügen Sie einen Erkennungslink in das Skript ein und besuchen Sie vor dem Crawlen diehttps://ip.ipipgo.com/checkgibt diese Schnittstelle Informationen über die aktuell verwendete Egress-IP zurück.

VI. Die endgültige Zusammenfassung der Anti-Blocking-Leitlinien

Und schließlich.Die vier Dos und Don'tsSchlagwort:
Zufällige UA｜Proxy Rotation｜Request Interval｜Ausnahmebehandlung
Stellen Sie keine häufigen Anfragen｜Fixieren Sie keine Parameter｜Parse-Fehler｜Bitten Sie nicht um mehr als Sie brauchen

So konfiguriert und mit der intelligenten Routing-Funktion von ipipgo kann der 90% die Anforderungen an das Crawling von Websites im Wesentlichen erfüllen. Der technische Kundendienst von ipipgo ist sehr professionell, und Sie können direkt nach einem Konfigurationsplan fragen, wenn Sie auf spezifische Probleme stoßen.