Crawl Wikipedia: Programm zur Erfassung von Compliance-Daten

Wie man mit dem Crawling von Wikidaten in realen Szenarien spielt

Jeder, der sich mit Datenerfassung beschäftigt hat, weiß, dass die öffentlichen Daten von Wikipedia wie eine Goldmine sind. Aber direkt auf dem Skript zu mögen sicherlich nicht, der Server ist nicht ein Narr, Dutzende von Anfragen von der gleichen IP über, Minuten für Sie, um die schwarze Liste zu ziehen. Zu dieser Zeit haben wir auf Proxy-IP verlassen, um Hilfskräfte zu spielen, um es unverblümt gesagt ist, um jede Anfrage für eine "Weste" zu geben.

Nehmen wir einen realen Fall: Letztes Jahr verwendete ein Knowledge-Graph-Team eine einzige IP-Adresse, um Daten zu Zeichenbeziehungen zu erfassen, was den Schutzmechanismus des Wikis auslöste, und die IP-Segmente des gesamten Projektteams wurden für drei Monate gesperrt. Später wechselte das Team zuDynamischer Wohnsitz-Proxy für ipipgoDabei wurden die Anfragen auf mehr als 200 Knoten in der ganzen Welt verteilt und die IPs automatisch stündlich gewechselt, was die einzige Möglichkeit war, die Daten in ihrer Gesamtheit abzurufen.

Treten Sie nicht in diese Schlaglöcher, Compliance ist harte Arbeit

Zuallererst müssen Sie die Spielregeln herausfinden, und in der robots.txt des Wikis steht ausdrücklich, dass Crawler nicht zugelassen sind. Zum Beispiel dieser Pfad:

Benutzer-Agent.
Disallow: /w/index.php?title=Spezial:Suche
Nicht zulassen: /w/api.php?action=abfrage&liste=Suche

Diese Schnittstellen sollten nicht angetastet werden, und es wird empfohlen, die offiziellen Schnittstellen vorzuziehenMediaWiki-API. Dann gibt es die Häufigkeit der Anfragen, persönliche Erfahrung ist nicht mehr als 3 mal pro Sekunde, Spitzenzeiten mitIntelligente QPS-Steuerung für ipipgoDie Funktion wird automatisch eingestellt.

Sie lernen, Agenten von Hand zuzuordnen

Mit der Python-Anforderungsbibliothek demonstriert, hängt der Schlüssel den Proxy im Session-Objekt auf. Hier ein Tipp: Schließen Sie die API von ipipgo an den Proxy-Pool an, um automatisch neue IPs zu erhalten.

importiert Anfragen
von itertools importieren Zyklus

proxies = [
    "http://user:pass@gateway.ipipgo.com:3000",
    "http://user:pass@gateway.ipipgo.com:3001"
]
proxy_pool = cycle(proxies)

for _ in range(10).
    aktueller_proxy = next(proxy_pool)
    try: aktueller_proxy = next(proxy_pool)
        resp = requests.get(
            "https://en.wikipedia.org/w/api.php", params={"action": "query", "format": "json","}
            params={"action": "query", "format": "json"},
            proxies={"http": current_proxy},
            timeout=5
        )
        print(resp.json())
    except Exception as e.
        print(f "Rollover mit {current_proxy}: {str(e)}")

Achten Sie darauf, user:pass auf Ihr Konto in ipipgo zu ändern, sie senden 5G-Traffic für neue Benutzer, genug zum Testen.

Was ist zu tun, wenn Sie gesperrt werden?

Wenn Sie 403 Forbidden sehen, geraten Sie nicht in Panik. Deaktivieren Sie sofort die aktuelle IP und gehen Sie zur Konsole von ipipgo, um den Knoten auf die schwarze Liste zu setzen. Prüfen Sie dann, ob ein User-Agent im Request-Header vorhanden ist, es wird empfohlen, diesen als Browser zu tarnen:

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/104.0.0.0 Safari/537.36"
}

Wenn mehrere IPs gleichzeitig blockiert werden, könnte die Verhaltenserkennung ausgelöst worden sein. Dies ist der Zeitpunkt, um dieVerkehrsverschleierung in ipipgoFunktion, um die Anforderungsmerkmale in das normale Zugriffsmuster des Benutzers zu stören.

interaktive Frage- und Antwortrunde

F: Muss ich eine Proxy-IP verwenden? Kann ich nicht meinen eigenen Server verwenden?
A: Eine kleine Sammlung ist in Ordnung, aber wenn sie 1000 Seiten/Tag übersteigt, ist ein einzelnes IP definitiv nicht in der Lage, sie zu bewältigen. Das Business-Paket von ipipgo unterstützt gleichzeitig 500 IPs, was für die Datenbereinigung auf Unternehmensebene geeignet ist.

F: Warum empfehlen Sie Dynamic Residential Agency?
A: IPs von Rechenzentren sind leicht zu identifizieren, Proxy-IPs von Privatanwendern sind echte Breitbandanschlüsse für zu Hause, und ASN-Datenbanken wie die von ipipgo decken mehr als 300 Netzbetreiber in der ganzen Welt ab, was es schwieriger macht, sie zu blockieren.

F: Was sollte ich tun, wenn ich auf ein CAPTCHA stoße?
A: Verringern Sie sofort die Häufigkeit der Anfragen und wechseln Sie zu einer neuen IP. Das exklusive IP-Paket von ipipgo kann an eine feste Exit-IP gebunden werden, was für den CAPTCHA-Dienst besser ist.

Abschließend sei daran erinnert, dass es bei der Datenerhebung um Nachhaltigkeit geht. Es ist wichtig, die richtigen Werkzeuge zu wählen, und Proxy-Dienste wie ipipgo, die eine Garantie für die Einhaltung der Vorschriften bieten, können die Effizienz steigern und rechtliche Risiken vermeiden. Schließlich will niemand wegen des Crawlings von Daten verklagt werden, oder?