Données fédérales : Guide pour le téléchargement de jeux de données ouvertes du gouvernement américain

Comment obtenir des données fédérales ? Voyons d'abord ce qu'est une IP proxy.

Récemment, de nombreux amis m'ont demandé des ensembles de données publiques du gouvernement américain, comme le recensement, les relevés climatiques, les données sur le trafic, etc. Mais dans la pratique, de nombreuses personnes sont bloquées à la première étape - le site ne peut pas s'ouvrir ou la vitesse de téléchargement est limitée. Cette fois-ci, nous devons sortir de notre "déménageur de réseau" - le proxy IP.

Pour donner un exemple concret, l'année dernière, un ami effectuant des recherches en sciences sociales a voulu consulter les données épidémiologiques du CDC, mais il est resté bloqué trois jours d'affilée sur la page de validation. Plus tard, il est passé àIP résidentielle dynamique pour ipipgoLes paquets tombent. Voici le tableau noir sur lequel vous pouvez frapper :Les adresses IP fixes sont faciles à identifier, la rotation des adresses IP est la meilleure solution..

Les trois grands gouffres du choix de l'IP proxy, 90% les gens sont tombés dedans

Il existe toutes sortes de services proxy sur le marché, mais il faut être prudent lorsqu'il s'agit d'accéder aux données gouvernementales. Commençons par trois champs de mines courants :

Par ailleurs, j'ai comparé 7 ou 8 fournisseurs de services et j'ai fini par fermer à cléipipgoLa raison en est très simple : leur pool d'adresses IP est suffisamment important pour permettre le téléchargement de 20 Go d'images satellite à partir de data.gov à une vitesse de 8 Mo/s, soit plus de trois fois plus vite que certaines entreprises dites "de classe entreprise".

La saisie des données fédérales avec ipipgo

Comment cela fonctionne-t-il ? En quatre étapes :

1. Sélectionnez le paquet "US Residential IP" dans le back-office d'ipipgo.
2. Introduisez la clé API dans le script de téléchargement (utilisez leur client standard si vous ne savez pas programmer).
3. Changement automatique d'adresse IP toutes les 10 minutes
4. Ouvrez un fil de discussion multithread et proposez au maximum 5 concurrences.

En ce qui concerne la troisième étape, de nombreuses personnes pensent que les changements fréquents d'adresse IP posent des problèmes. En fait, avec le mode de rotation intelligent d'ipipgo, le système sera automatiquement ajusté en fonction de la réponse du site, ce qui est beaucoup plus stable que l'opération manuelle. La semaine dernière, j'aidais un laboratoire universitaire à télécharger des données climatiques de la NASA, et le téléchargement s'est poursuivi pendant 48 heures sans interruption.

Questions fréquemment posées

Q : Que dois-je faire si je suis déconnecté au milieu du téléchargement ?
R : Sélectionnez l'outil qui prend en charge la transmission continue, le client ipipgo est doté de cette fonction, pro-test se déconnecte et se reconnecte en 3 secondes !

Q : Comment casser le CAPTCHA lorsque je le rencontre ?
R : Ne vous contentez pas de le faire ! Changez immédiatement d'IP, l'API d'ipipgo prend en charge la réessai automatique en cas d'échec, 10 fois plus rapide que la saisie manuelle de captcha !

Q : Que se passe-t-il si je veux placer plusieurs ensembles de données en même temps ?
R : Utilisez des pools d'adresses IP pour diriger différentes tâches vers différentes adresses IP de sortie. ipipgo prend en charge jusqu'à 500 sessions simultanées, ce qui est suffisant pour faire face à des projets de petite et moyenne envergure.

Pourquoi les vieux oiseaux aiment-ils l'ipipgo ?

Enfin, pour être honnête, ne regardez pas les publicités, regardez les résultats. ipipgo a trois caractéristiques qui font mouche :Véritable IP résidentielle(Le genre qui vérifie le WHOIS),Bande passante dédiée(Il ne volera pas le débit internet de vos voisins),Routage intelligent(Sélection automatique de la ligne optimale). En particulier, leur nouveau paquet spécial de collecte de données, directement dans les modèles prédéfinis des sites Web gouvernementaux couramment utilisés, le blanc peut également être une clé pour commencer à faire des bêtises.

En fin de compte, s'attaquer aux données fédérales est un travail d'endurance. Une fois que vous avez choisi les bons outils, il ne vous reste plus qu'à vous préparer une tasse de café et à attendre que les données soient déposées. La prochaine fois que vous serez bloqué dans le processus de téléchargement, n'oubliez pas d'essayer cette astuce - utilisez un bon proxy IP, vous pouvez vraiment perdre beaucoup de cheveux.