Scrapy vs BeautifulSoup: Auswahl des Crawler-Frameworks

Werkzeugpositionierung ist nicht der richtige Weg

Lassen Sie uns zunächst brechen diese beiden Tools zu verstehen. Scrapy dieses Ding ist eine ernsthafte Crawler-Framework, von der Netzwerk-Anfrage zur Datenspeicherung all inclusive, wie der Bau eines Hauses für Sie zu einem guten Gerüst zu bauen. BeautifulSoup ist ein HTML-Parser, wie das Essen Krabben mit einer Pinzette, speziell von der Web-Seite zu holen Daten mit. Zum Beispiel, Sie wollen Scrapy verwenden, um in Web-Crawling zu engagieren, kommen sie mit automatischer Wiederholung, Gleichzeitigkeit Kontrolle dieser Mechanismen, aber wenn Sie BeautifulSoup verwenden, müssen Sie ihre eigene Bibliothek mit einer Anfragen für Netzwerk-Anforderungen zu machen, manuell mit allen Arten von Ausnahmen zu behandeln.

Was die Proxy-IPs betrifft, so hat Scrapy dieeingebauter Middleware-MechanismusWenn Sie BeautifulSoup verwenden, müssen Sie die Proxy-Parameter jedes Mal separat in requests.get() einfügen, und wenn Sie die IP häufig ändern müssen, kann der Code Ihnen eine Chance geben. Wenn Sie BeautifulSoup verwenden, müssen Sie den Proxy-Parameter in jeder requests.get() separat angeben, und wenn Sie die IP häufig ändern müssen, kann der Code Sie zu einem Wollknäuel verwickeln.

Es gibt einen Generationsunterschied im Umgang mit Daten.

Die Spezialität von BeautifulSoup ist das Parsen von unübersichtlichen HTML-Dokumenten, und es kann Fehler bei der Verschachtelung von Tags oder schlecht formatierte Webseiten ausgleichen; XPath- und CSS-Selektoren sind ebenfalls einfach zu verwenden und eignen sich besonders fürgenaue PositionierungSeiten-Elemente. Aber der Scrapy-eigene Selektor ist gar nicht so schlecht, und er arbeitet nahtlos mit der Crawling-Logik zusammen.

Konzentration auf Proxy-IP-Fit-Probleme. Mit den rotierenden Proxies von ipipgo war Scrapy in der LageMiddleware herunterladenDas Niveau der automatischen IP-Wechsel, zum Beispiel, alle 5 Seiten eingestellt, um die Proxy-Änderung Zeiten zu erfassen. Wenn Sie BeautifulSoup+requests verwenden, müssen Sie Ihren eigenen IP-Pool-Manager schreiben, und Sie sind möglicherweise nicht in der Lage, den Proxy rechtzeitig zu ändern, was zu IP-Sperren führen kann.

Anti-Crawl-Response-Fähigkeit

现在网站的反爬机制越来越狠，这时候就看出框架的优势了。Scrapy自带User-Agent轮换、请求设置，配合ipipgo的高匿代理，能把你的爬虫伪装成Echter BenutzerzugangIch bin nicht sicher, ob Sie ein guter Mensch sind, aber ich bin ein guter Mensch. Kürzlich zu helfen, Menschen zu tun, das Projekt wird ein tiefes Verständnis für die Verwendung von kostenlosen Proxies haben, um eine E-Commerce-Plattform klettern, 10 Minuten blockiert werden, mit ipipgo exklusive IP ersetzt, läuft für drei Tage in Folge sind in Ordnung.

Wenn Sie das Programm BeautifulSoup verwenden, müssen diese Anti-Climbing-Maßnahmen ihre eigenen Räder bauen. Zum Beispiel, um mit CAPTCHA umgehen und pflegen die Cookie-Pool, ist es leicht für unerfahrene Neulinge blind zu sein. Hier, um einen Satz der Wahrheit einfügen, wirklich wollen, Business-Class-Crawler zu tun, oder haben, um Scrapy + professionelle Proxy-Dienste verwenden, um das Herz zu retten.

Anwendbare Szenarien an der richtigen Stelle

Es ist anschaulicher, den Jungs die ganze Vergleichstabelle zu zeigen:

Um einen realen Fall geben: vor dem Klettern eine Rekrutierung Website, mit BeautifulSoup Skript auf den ersten okay, und so kletterte auf die 200. Später geändert, um Scrapy-Framework zu verwenden, in settings.py konfigurieren ipipgo API-Schnittstelle, setzen CONCURRENT_REQUESTS = 32, der Agent automatisch drehen, die Geschwindigkeit der direkten Abflug nicht blockiert worden ist.

Häufig gestellte Fragen QA

F: Welches Tool sollte ich wählen, wenn ich gerade erst anfange?
A: Wenn Sie nur ein paar Seiten erstellen und damit herumspielen wollen, reicht BeautifulSoup und der Pay-per-Use-Agent von ipipgo aus. Aber wenn Sie ernsthafte Projekte machen wollen, ist es empfehlenswert, Scrapy direkt zu lernen, was auf lange Sicht effizienter ist.

F: Was ist falsch daran, eine Proxy-IP zu verwenden und trotzdem gesperrt zu werden?
A: Die Qualität des Proxys kann nicht funktionieren, und viele kostenlose Proxys sind auf der schwarzen Liste. Wir empfehlen die Verwendung von ipipgo's reinem Wohn-Proxy, wir haben getestet, dass die Blockierrate bei 5% unten kontrolliert werden kann.

F: Wie konfiguriert Scrapy den Proxy von ipipgo?
A: Etwas über das Hinzufügen von drei Codezeilen zu middlewares.py:
"`python
request.meta['proxy'] = "http://用户名:密码@gateway.ipipgo.com:端口"
“`
Denken Sie daran, die Download-Middleware in den Einstellungen zu öffnen und die offizielle Website zu besuchen, um die Dokumentation einzusehen.

Schließlich möchte ich sagen, dass das Werkzeug selbst ist nicht hoch oder niedrig, der Schlüssel ist, um die Szene entsprechen. Aber wenn es um die kommerzielle Nutzung geht, sparen Sie nicht den Proxy Geld, verwenden Sie ipipgo's Qualität IP kann eine Menge Umwege zu reduzieren. Vor ein paar Tagen haben einige Kunden versucht, einen kostenlosen Proxy zu benutzen, aber das Ergebnis war, dass sie nicht viele Daten abfingen, sondern stattdessen die IP des Servers nahmen, was ein großer Verlust war, nicht wahr?