Akademische Datenerfassung: ein Beispiel für die Entwicklung eines Crawlers für Zeitschriftenartikel

Warum müssen Akademiker ihre eigenen Crawler bauen?

Kürzlich habe ich einigen Doktoranden bei ihren Dissertationsdaten geholfen und dabei festgestellt, dass sie die primitivste Methode anwenden: das manuelle Herunterladen von Artikeln von Zeitschriften-Websites. Einer von ihnen klickte zwei Tage lang mit der Maus, um 300 Artikel herunterzuladen, und wurde von der Website blockiert, was mir plötzlich bewusst machte, dass viele Akademiker tatsächlich Artikel herunterladen müssen.Automatisierte ErfassungswerkzeugeSie befürchten jedoch, dass die technologische Schwelle zu hoch ist.

In der Tat ist es heutzutage so einfach, einfache Crawler in Python zu schreiben, wie zu lernen, wie man Rührei mit Tomaten macht. Das Hauptproblem ist, dass die Anti-Crawl-Mechanismen vieler Zeitschriftenplattformen strenger sind als die Community-Gates. In diesem Fall müssen SieProxy-IPUm Ihre "Tarnkappe der Unsichtbarkeit", vor allem wie ipipgo diese Art von Service-Provider spezialisiert auf dynamische IP-Pool zu tun, können Sie wie der Affenkönig Ziehen der Haare, um die Aufteilung zu ändern wie, leicht zu umgehen die Zugangsbeschränkungen.

Sie lernen, den Proxy-Crawler anzupassen

Bereiten Sie zunächst drei Dinge vor: Python-Umgebung (empfohlen 3.8 oder mehr), Requests-Bibliothek und ipipgo-API-Schlüssel. Hier ist eine kleine Grube zu beachten, verwenden Sie nicht direkt den kostenlosen Proxy, neun von zehn sind Gruben. Letztes Jahr habe ich versucht, einen bestimmten Schatz, einen billigen Proxy zu kaufen, das Ergebnis der Download des Papiers in den kleinen gelben Text gemischt, war die Szene einmal sehr peinlich.

Die wichtigsten Konfigurationsschritte:
1. sich auf der ipipgo-Website registrieren und dann diePakete nur für Akademiker(mit hoher Anonymität)
2. im Code zur Einrichtung eines rotierenden Proxys wird empfohlen, die IP alle 5-10 Anfragen zu ändern.
3. denken Sie daran, eine zufällige Verzögerung hinzuzufügen, damit die Website nicht herausfindet, dass Sie ein Roboter sind

Um ein konkretes Beispiel zu nennen: Beim Aufrufen einer wichtigen Zeitschriften-Website wird die siebte Anfrage blockiert, wenn man keinen Proxy hinzufügt. Nach der Verwendung der dynamischen IP von ipipgo wurden 2000 Anfragen hintereinander ausgeführt, und das System war so stabil wie ein alter Hund. Ihr API-Aufruf ist einfach: Fügen Sie einfach einen Proxy-Parameter zu den Anfragen hinzu:

proxies = {
    "http": "http://用户名:密码@gateway.ipipgo.com:端口",
    "https": "https://用户名:密码@gateway.ipipgo.com:端口"
}

Vermeidung der geschmacklosen Operation des Backcrawling

Nun ist die Zeitschrift Website der Anti-Climbing-Sets mehr und mehr, zusätzlich zu den wechselnden IP auch die Aufmerksamkeit auf diese:

Hier ein Kaltgetränk: mit ipipgo'sWohnungsvermittlerEs ist nicht einfach, als der Rechenzentrumsproxy identifiziert zu werden. Das letzte Mal stieg ich wissen.com, die Erfolgsquote der Verwendung von gewöhnlichen Proxy ist nur 60%, Wechsel zu Wohn-Proxy direkt stieg auf 92%. aber achten Sie auf die akademische Ethik, nicht machen Menschen die Server abgestürzt.

Fünf Fallstricke, in die weiße Menschen häufig tappen

F: Warum funktioniert mein Crawler zunächst und fällt dann plötzlich aus?
A: achtzig Prozent der IP wurde schwarz gezogen, denken Sie daran, IP so oft wie wechselnde Socken ändern. vorgeschlagen in ipipgo Hintergrund-Einstellungen automatische Schaltfrequenz

Q：Warum kann ich die heruntergeladene PDF-Datei nicht öffnen?
A: Es kann die Anti-Climbing-Mechanismus der Website ausgelöst haben und gab eine Fehlerseite. Ich zeige Ihnen einen Trick: Fügen Sie eine Datei-Header-Prüfung in den Code, gefunden, dass die Datei weniger als 10KB ist automatisch wiederholen!

F: Was ist, wenn der Crawler langsam wie eine Schnecke ist?
A: Eröffnen Sie nicht mehrere Threads und hetzen Sie nicht, sondern verteilen Sie die Anfragen wie in einem Guerillakrieg. Verwenden Sie die API von ipipgo mit asynchronen Anfragen für einen 3-5fachen Geschwindigkeitsschub!

F: Werde ich rechtlich zur Verantwortung gezogen?
A: Einhaltung der Robots-Vereinbarung + Kontrolle der Zugriffsintensität + nur für akademische Zwecke, im Allgemeinen kein Problem. Letztes Jahr habe ich mit dieser Methode meinem Tutor geholfen, über 80.000 Dokumente zu durchsuchen, und jetzt sind die Arbeiten veröffentlicht

F: Wie wähle ich ein Paket für ipipgo aus?
A: Anfängern wird empfohlen, Folgendes zu wählenFlexibles VerkehrspaketIch habe zunächst 50G gekauft, um das Wasser zu testen. Ihre Verkehrsberechnungen sind sehr realistisch, im Gegensatz zu einigen Plattformen, die verwässert werden können

Sprechen Sie aus dem Herzen.

Die akademische Datenerfassung ist wie ein Tunnelkrieg, der sowohl Technologie als auch Strategie erfordert. Proxy-IP ist in dieser Angelegenheit wie der Energieschatz der Transformers, und die Wahl des richtigen ist das doppelte Ergebnis mit der Hälfte des Aufwands. Nachdem ich ipipgo ein halbes Jahr lang genutzt habe, ist das größte Gefühl ihr IP-Pool.Schnell genug aktualisiertIch habe festgestellt, dass der Kundendienst noch um 3 Uhr morgens online ist, um technische Fragen zu beantworten, was wirklich überzeugend ist.

Abschließend möchte ich Sie daran erinnern, dass es Tausende von Regeln für Crawler gibt, aber die erste Regel ist, sich an das Gesetz zu halten. Versuchen Sie nicht, die Websites anderer Leute um der Schnelligkeit willen lahmzulegen, und wir sollten über die Tugend der Akademiker sprechen. Wenn Sie sich wirklich unsicher sind, kann Ihnen der technische Support von ipipgo helfen, den Code kostenlos einzusehen, und denken Sie daran, sich nichts vormachen zu lassen.