Crawl Wikipedia : Programme de collecte de données de conformité

Comment jouer avec l'exploration de données wiki dans des scénarios réels

Quiconque s'est engagé dans la collecte de données comprend que les données publiques de Wikipedia sont comme une mine d'or. Mais le serveur n'est pas dupe, des dizaines de requêtes à la suite provenant de la même adresse IP ne suffiront pas à dresser la liste noire. Pour l'instant, nous devons nous appuyer sur l'IP proxy pour jouer les auxiliaires, pour dire les choses crûment, c'est donner un "gilet" à chaque requête.

Prenons un cas concret : l'année dernière, une équipe chargée du graphe de connaissances a utilisé une seule adresse IP pour saisir les données relatives aux relations entre les personnages, ce qui a déclenché le mécanisme de défense du wiki, et les segments IP de toute l'équipe du projet ont été bloqués pendant trois mois. Plus tard, l'équipe est passée àProxy résidentiel dynamique pour ipipgoEn effet, il a réparti les demandes sur plus de 200 nœuds à travers le monde et a changé automatiquement d'adresse IP toutes les heures, ce qui était le seul moyen de dépouiller les données dans leur intégralité.

Ne marchez pas dans ces nids-de-poule, la conformité est un travail difficile

Tout d'abord, il faut connaître les règles du jeu, et le fichier robots.txt du wiki indique explicitement que les robots d'indexation sont interdits. Par exemple, ce chemin :

User-agent.
Disallow : /w/index.php?title=Special:Search
Disallow : /w/api.php?action=query&list=search

Ces interfaces ne doivent pas être modifiées et il est recommandé d'utiliser de préférence les interfaces officielles.API MediaWiki. Ensuite, il y a la fréquence des demandes, l'expérience personnelle est de pas plus de 3 fois par seconde, les heures de pointe avecContrôle intelligent du QPS pour l'ipipgoLa fonction est automatiquement ajustée.

Apprendre à jumeler les agents à la main

Démontrée avec la bibliothèque de requêtes de Python, la clé suspend le proxy dans l'objet Session. Voici une astuce : branchez l'API d'ipipgo dans le pool de proxy pour obtenir automatiquement de nouvelles adresses IP.

importation de requêtes
from itertools import cycle

proxies = [
    "http://user:pass@gateway.ipipgo.com:3000",
    "http://user:pass@gateway.ipipgo.com:3001"
]
proxy_pool = cycle(proxies)

pour _ dans range(10).
    current_proxy = next(proxy_pool)
    try : current_proxy = next(proxy_pool)
        resp = requests.get(
            "https://en.wikipedia.org/w/api.php", params={"action" : "query", "format" : "json","}
            params={"action" : "query", "format" : "json"},
            proxies={"http" : current_proxy},
            timeout=5
        )
        print(resp.json())
    except Exception as e.
        print(f "Rollover with {current_proxy} : {str(e)}")

Faites attention à changer user:pass pour votre compte dans ipipgo, ils envoient du trafic 5G pour les nouveaux utilisateurs, assez pour tester.

Que faire en cas d'interdiction ?

Si vous voyez 403 Forbidden, ne paniquez pas. Désactivez immédiatement l'IP actuelle et allez dans la console d'ipipgo pour blacklister le noeud. Ensuite, vérifiez s'il y a un User-Agent dans l'en-tête de la requête, il est recommandé de le déguiser en navigateur :

headers = {
    "User-Agent" : "Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36"
}

Si plusieurs adresses IP sont bloquées en même temps, il se peut que la détection comportementale ait été déclenchée. C'est le moment d'activer la fonctionL'obscurcissement du trafic dans l'ipipgoafin d'intégrer les caractéristiques de la demande dans le schéma d'accès normal de l'utilisateur.

séance interactive de questions et réponses

Q : Dois-je utiliser une adresse IP proxy ? Ne puis-je pas utiliser mon propre serveur ?
R : La collecte à petite échelle est acceptable, mais si elle dépasse 1 000 pages par jour, un seul IP ne sera certainement pas en mesure de la mener à bien. L'offre commerciale d'ipipgo prend en charge 500 IP simultanés, ce qui convient pour le nettoyage des données au niveau de l'entreprise.

Q : Pourquoi recommandez-vous Dynamic Residential Agency ?
R : Les adresses IP des centres de données sont faciles à identifier, les adresses IP des proxy résidentiels sont de véritables connexions à large bande à domicile, et les bases de données ASN comme celle d'ipipgo couvrent plus de 300 opérateurs dans le monde, ce qui les rend plus difficiles à bloquer.

Q : Que dois-je faire si je rencontre un CAPTCHA ?
R : Réduisez immédiatement la fréquence des demandes et passez à une nouvelle adresse IP. L'offre IP exclusive d'ipipgo peut être liée à une adresse IP d'exportation fixe, ce qui est préférable avec le service CAPTCHA.

Enfin, la collecte de données est une question de durabilité. Il est important de choisir les bons outils, et un service proxy comme ipipgo qui s'accompagne d'une garantie de conformité peut accroître l'efficacité tout en évitant les risques juridiques. Après tout, personne ne veut être poursuivi en justice pour avoir exploré des données, n'est-ce pas ?