Open Source Web Crawling Framework GitHub Featured Collection

Wenn Crawler auf Anti-Crawler treffen, braucht Ihr Code einen Tarnanzug

Freunde in der Datenerhebung beschäftigt verstehen, dass die Anti-Climbing-Mechanismus der Website ist jetzt strenger als die Zelle Tor Kontrolle. Vor zwei Tagen habe ich Python verwendet, um eine einfache Crawler zu schreiben, die Ergebnisse nur eine halbe Stunde laufen, um den Betreiber Warnung Textnachricht erhalten, IP direkt auf die schwarze Liste gesetzt werden. Zu diesem Zeitpunkt ist es notwendig, umProxy-IPDiese "Tarnkappe" macht es für den Server unmöglich, Ihre wahre Identität zu erkennen.

Um ein reales Szenario zu zitieren: die Sammlung von Preisdaten einer E-Commerce-Plattform, die ersten 50 Seiten glatt zur Hand, schalten Sie auf 51 Seiten plötzlich aufgetaucht das CAPTCHA. Zu diesem Zeitpunkt, wenn Sie bringenipipgo Dynamischer Wohnsitz-ProxyDie CAPTCHA-Auslöserate kann um 70% oder mehr sinken, indem automatisch zwischen verschiedenen städtischen IP-Adressen gewechselt wird, so wie man bei jedem Besuch zu einem neuen Handy-Login wechselt.

Empfohlene Crawler mit über tausend GitHub-Sternen

Es wird empfohlen, diese 5 Open-Source-Frameworks in den Favoriten zu speichern, um Staub zu fressen (aber es ist besser, keinen Staub zu fressen):

Praktische Anwendung des Unsichtbarkeitsmantels in Scrapy

Nehmen Sie das am häufigsten verwendete Scrapy als Beispiel, drei Schritte zum Zugriff auf den ipipgo-Proxy:

Schritt eins:Fügen Sie eine benutzerdefinierte Middleware zu middlewares.py hinzu, der Schlüsselcode besteht nur aus diesen Zeilen:

def process_request(self, request, spider).
    request.meta['proxy'] = 'http://username:password@gateway.ipipgo.com:端口'

Zweiter Schritt:Um die von ipipgo bereitgestellte API in die Downloader-Middleware einzubinden, wird empfohlen, die5 Sekunden automatische UmschaltungIP, so dass die Erfolgsquote bei der Sammlung über 98% liegen kann.

Dritter Schritt:Denken Sie daran, die Wiederholung Mechanismus in den Einstellungen zu öffnen, Begegnung 403 Status-Code automatisch ändern IP-Wiederholung, diese Kombination von Schlägen aus, Anti-Climbing-System ist im Grunde nutzlos.

Warum entscheiden sich ältere Fahrer für ipipgo?

Nachdem ich 7 oder 8 Proxy-Dienste genutzt habe, habe ich ipipgo aus drei Gründen endgültig abgeschaltet:

1. Echte Wohn-IPIm Gegensatz zu einigen Dienstanbietern, die mit Serverraum-IPs herumspielen, müssen für die Erfassung von E-Commerce-Bewertungen echte private Breitband-IPs verwendet werden.

2. Stadt Ihrer WahlWenn Sie regionale Daten erfassen müssen, können Sie die IP-Adresse des Landkreises und der Stadt genau lokalisieren.

3. Verkehr wird nicht verschwendetAbrechnung nach tatsächlichem Verbrauch, damit Sie nicht mitten in der Nacht Ihren Geldbeutel strapazieren müssen, wenn Sie Daten verbrauchen

Häufig gestellte Fragen Erste-Hilfe-Kasten

F: Was soll ich tun, wenn ich einen Proxy verwende und trotzdem blockiert werde?
A: Überprüfen Sie an drei Stellen: ① ob der Request-Header mit Browser-Fingerabdrücken versehen ist ② ob die Zugriffshäufigkeit zu hoch ist ③ bestätigen Sie den Proxy-IP-Typ (empfohlen: ipipgo's mixed dialling service)

Q：Was muss ich tun, wenn ich Daten von ausländischen Websites sammeln muss?
A：直接在ipipgo后台切换海外节点，注意选和网站服务器同区域的IP，能控制在200ms内。

F: Funktionieren kostenlose Proxys?
A: kurzfristigen Test sein kann, das offizielle Projekt nicht! Wir haben auf die Grube getreten: freier Agent 30% mit Trojaner, 50% Antwort Timeout, die restlichen 20% wurde von den großen Websites so früh wie schwarz gezogen.

Eine letzte kalte Erkenntnis: Mit ipipgo'sDynamischer Anwohner-Proxy + Chrome Headless-ModusDie Erfolgsquote beim Einsammeln ist viermal höher als bei der reinen API-Lösung. Wenn Sie das nächste Mal von Anti-Crawl abgestürzt werden, probieren Sie diese Königsbomben-Kombination aus und vergessen Sie nicht, sich bei mir zu bedanken.