Google Scholar API: Schnittstelle zur Datenerfassung für Abschlussarbeiten

Hat Google Scholar Daten manipuliert? Ein praktischer Leitfaden zur Vermeidung von Fallstricken mit Proxy-IPs

Akademiker wissen, dass Google Scholar eine große Fundgrube ist. Aber wirklich wollen Batch-Pick These Daten, die offizielle API ist seit langem für die Öffentlichkeit geschlossen. Zu dieser Zeit haben wir ihre Fähigkeiten zu zeigen, viele Technologie-Geeks wählen, um ihre eigenen Crawler zu schreiben. Aber das Problem -Ihre IP wird in wenigen Minuten gesperrt.Ich bin mir nicht sicher, ob ich dazu in der Lage sein werde! Heute werden wir darüber sprechen, wie man Proxy-IPs verwendet, um sicher und effizient Daten zu sammeln.

Warum lebt Ihr Crawler nicht länger als drei Minuten?

Der Anti-Crawl-Mechanismus von Google ist nicht vegetarisch, achten Sie hauptsächlich auf diese drei Indikatoren:

1. die Häufigkeit der Anfragen von einer einzigen IP-Adresse
2. ob der Header der Anfrage wie eine echte Person aussieht
3. die JavaScript-Authentifizierungsstufen

Vor allem die erste, die durchschnittliche Heim-Breitband auf einer öffentlichen IP, verrückte Anfrage, leichte Flussbegrenzung schwere Blockierung. Letzten Monat erzählte mir ein Doktorand, dass er ein Skript geschrieben hat, das um 2 Uhr nachts läuft, und das Ergebnis war, dass die IP um 3 Uhr nachts blockiert wurde und die Doktorarbeit fast offen war.

Proxy-IPs sind der Lebensretter.

Das Prinzip dieser Sache ist so einfach wieLassen Sie Ihre Pakete von verschiedenen Kurieren zustellenDynamic Residential Proxy von ipipgo ist der beste, warum? Sehen Sie sich diese Vergleichstabelle an:

Der Wohnungsvermittler von ipipgo wurde auf Herz und Nieren geprüft.Die Authentifizierung wird nicht durch 500 aufeinanderfolgende Anfragen ausgelöst. Der Schlüssel ist, dass ihr IP-Pool täglich mit 20% aktualisiert wird und nicht leicht zu markieren ist.

Der eigentliche Code sieht folgendermaßen aus

Denken Sie am Beispiel von Python daran, dassZufälliger Wechsel des User-Agentsim Gesang antwortenIntervall der Kontrollanforderung::

importiert Anfragen
von itertools importieren Zyklus

proxies = cycle(ipipgo.get_proxy_list()) get dynamic IP pools

headers_list = [
    {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0)...'} ,
    {'Benutzer-Agent': 'Mozilla/5.0 (Macintosh; Intel...'}
]

for page in range(1, 100): proxy = next(proxies).
    proxy = next(proxies)
    try: response = requests.get()
        response = requests.get(
            'https://scholar.google.com/scholar', proxies={"http": proxy, "https": proxy}
            proxies={"http": proxy, "https": proxy},
            headers=random.choice(headers_list), timeout=10
            timeout=10
        )
         Verarbeitung der Daten hier...
        time.sleep(random.uniform(2,5)) random hält an
    except Exception as e.
        print(f "Flipped mit {proxy}, wechsle zum nächsten!")

Gemeinsame Rollover-Szene QA

F: Warum werde ich nach der Verwendung eines Proxys immer noch blockiert?
A: drei Möglichkeiten: 1. die IP-Qualität ist nicht gut 2. der Header der Anfrage ändert sich nicht zufällig 3. die Geschwindigkeit ist zu schnell. Es wird empfohlen, das intelligente Rotationspaket von ipipgo zu verwenden, das über eine Steuerung der Anfragehäufigkeit verfügt.

Q：Welches Paket sollte ich wählen, wenn ich 100.000 Daten sammeln möchte?
A: Wenden Sie sich direkt an den ipipgo-Kundenservice, um das Programm individuell anzupassen. Persönliche Nutzung wählen, um 199 monatliche Paket zu zahlen ist genug, Enterprise-Level-Nutzung wird empfohlen, gleichzeitige Pakete zu kaufen.

F: Ist dies eine Straftat?
A: Akademische Nutzung ist grundsätzlich in Ordnung, solange sie nicht kommerziell oder böswillig beleidigend ist. Denken Sie daran, die Kopfzeilen hinzuzufügenReferer": "https://scholar.google.com/Sicherer.

Sagen Sie die Wahrheit.

Glauben Sie nicht an diese kostenlosen Proxys, neun von zehn sind Schrott. Ich habe schon Leute gesehen, die kostenlose IPs verwendet haben und dadurch auf alle Daten von Phishing-Seiten gekommen sind. ipipgo kostet Geld, aber der IP-Pool ist da!Real Life Gehäuse IPund kann auch nach Volumen abgerechnet werden. Vor allem mit ihrer Smart-Routing-Funktion, die automatisch die IP des Seins vermeidet, ist die Einsparung nicht ein bisschen.

Letzte Erinnerung: Schreiben Sie keine toten IP-Adressen in Ihren Code! Am besten verwenden Sie die API, die sie zur Verfügung stellen, um den neuesten Proxy in Echtzeit zu erhalten, so dass selbst wenn eine bestimmte IP hängen bleibt, sie automatisch umgeschaltet werden kann. Es ist nicht leicht, ein Akademiker zu sein, also steigen Sie auf und schätzen Sie es.