BeautifulSoup vs Scrapy: Auswahl des Crawler-Frameworks

Erstens: Warum müssen Crawler eine Proxy-IP verwenden?

Brüder, die sich mit Datenerfassung befassen, sollten es erlebt haben: zwei Minuten lang laufen lassen und die403 VerbotenDer Tipp. Zu dieser Zeit, wenn Sie nicht den Agenten hängen, Licht ist der Tag vergeblich, oder direkt von der Website schwarz. Nehmen Sie die E-Commerce-Preisvergleich Projekt habe ich im vergangenen Jahr, mit echten IP gefangen weniger als 100 mal, das ganze Team Computer wurde für drei Tage gesperrt.

zu diesem ZeitpunktipipgoDie Rotation des Proxy wird sich als nützlich erweisen - jede Anfrage für eine andere Ausfahrt IP, kann die Website nicht sagen, ob Sie eine echte Person oder eine Maschine sind. Vor allem die Notwendigkeit für den langfristigen Betrieb der Aufgabe, kein Proxy ist wie nackt auf dem Schlachtfeld laufen, früher oder später erschossen werden.

II. die Lebensweise von BeautifulSoup

Dieses Ding ist technisch gesehen kein Rahmen, es ist eher einHTML-Parser. Zum Beispiel wollen Sie den Inhalt eines Forums Beitrag zu holen, mit Anfragen + bs4 Kombination ist die am besten geeignete. Um ein praktisches Szenario zu zitieren: eines Tages die Operation plötzlich wollen konkurrierenden Websites 500 Ware Titel, dieses Mal jetzt lernen Scrapy ist zu spät.

Anfragen importieren
from bs4 importieren BeautifulSoup
from ipipgo import get_proxy Hier greifen wir auf das ipipgo SDK zu.

proxy = get_proxy()
headers = {'User-Agent': 'Mozilla/5.0'}
resp = requests.get('https://target-site.com',
                   proxies={"http": proxy}, headers=headers)
                   headers=headers)
soup = BeautifulSoup(resp.text, 'lxml')
titles = soup.select('.product-title')

Beachten Sie im obigen Code, dass dieget_proxy()Das ist es, worum es geht.ipipgoDynamische IP-Erfassungs-Schnittstelle zur Verfügung gestellt. Jedes Mal, wenn Sie das Skript automatisch IP-Änderung, mehr als zehnmal stabiler als mit einem freien Proxy.

III. das industrielle Gameplay von Scrapy

Wenn die NachfrageRegelmäßig 100.000 Daten pro Tag erfassenEs ist an der Zeit, Scrapy einzuführen. Sein Middleware-Mechanismus ist viel freundlicher zur Proxy-Unterstützung, besonders in Kombination mit demipipgoDer gleichzeitige IP-Pool ermöglicht ein wirklich verteiltes Crawling.

Konfigurieren Sie die Proxy-Middleware in settings.py:

DOWNLOADER_MIDDLEWARES = {
    scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 543,
}

IPIPGO_API = "your_account:your_token@gateway.ipipgo.com:8000"

Auf diese Weise wird jede Anfrage durch denipipgoDer Proxy-Kanal. Gemessen an der Gigabit-Bandbreite können in 8 Stunden 800.000 Daten gecrawlt und null gesperrt werden.

IV. Welcher Rahmen soll gewählt werden?

Legen Sie den Schwerpunkt fest:Scrapy muss mit einem hochwertigen Agentenpool gepaart werden.können gewöhnliche Proxys keine hochfrequenten Anfragen bewältigen. Aus diesem Grund wird empfohlen, dassipipgovon kommerziellen Diensten hat man QPS speziell für Crawler optimiert.

V. Praktischer Leitfaden zur Vermeidung von Fallstricken

Ich habe die erbärmlichste Situation begegnet: ein kostenloser Proxy, das Ergebnis der Rückkehr Daten sind alleeine Werbung. Später wurde sie umgestellt aufipipgoEnterprise Edition, nur um festzustellen, dass die zuvor erfassten Daten 30% verunreinigt waren.

Schlagen Sie vor, einen Link zur IP-Überprüfung in den Code aufzunehmen:

def check_proxy(ip).
    try.
        requests.get('http://ip.ipipgo.com/check',
                    requests.get('', proxies={'http':ip}, timeout=5))
                    timeout=5)
        return True
    außer.
        return False

Diese Erkennungsschnittstelle istipipgoEinzigartiger Dienst, der in Echtzeit bestätigt, ob der aktuelle Agent verfügbar ist, um das Crawlen von schmutzigen Daten zu vermeiden.

VI. häufig gestellte Fragen QA

F: Welches Framework sollten Neulinge zuerst lernen?
A: temporäre Bedürfnisse mit BeautifulSoup + Requests, langfristige Projekte direkt auf Scrapy. unabhängig davon, welche zu wählen, denken Sie daran, dieipipgoder Dienstleistungen der Agentur.

F: Wie oft sollte ich meine Proxy-IP ändern?
A: Gewöhnliche Websites werden alle 5 Minuten geändert, und bei Websites mit strengem Anti-Climbing wird empfohlen, jede Anfrage zu ändern. UnteripipgoDer Hintergrund kann so eingestellt werden, dass sich die Frequenz automatisch ändert.

F: Warum ist die Website auch nach der Verwendung eines Proxys noch gesperrt?
A: Prüfen Sie, ob Sie einen transparenten Proxy verwenden.ipipgoDie vielen Proxys verbergen den X-Forwarded-For-Header, so dass Websites die echte IP gar nicht sehen.