Ressources en données fédérales : Jeux de données ouvertes du gouvernement

Quand les données gouvernementales rencontrent la propriété intellectuelle par procuration

Récemment, beaucoup de mes amis qui font de l'analyse de données se sont plaints qu'il y a manifestement une mine d'or dans les données publiques du gouvernement, mais que les collecter revient à jouer avec le...Jeu des spermophiles-Il suffit de saisir quelques données pour que l'IP soit bloquée. La semaine dernière, le vieux roi, pour obtenir des données sur le flux de trafic, a dû utiliser son propre routeur pour changer 8 fois de bande passante, et le résultat a été renvoyé dans la petite pièce noire par l'opérateur.

Le guide de survie du déménageur de données

Les mécanismes anti-crawling des sites web gouvernementaux deviennent de plus en plus sophistiqués, tout comme le gardien d'un centre commercial qui se souvient de votre visage et ne vous laisse pas entrer. C'est le moment deIP proxyd'être un passeur de données "habilleur d'accessoires". Par exemple, si vous utilisez l'agent résidentiel d'ipipgo, chaque fois que vous demandez des données, c'est comme si vous changiez de tenue, et le site web ne reconnaîtra plus du tout la même personne.

demandes d'importation

proxies = {
    'http' : 'http://user:pass@gateway.ipipgo.com:9020',
    'https' : 'http://user:pass@gateway.ipipgo.com:9020'
}

response = requests.get('https://data.gov.cn/api', proxies=proxies)
print(response.text)

Trois incontournables dans le monde réel

1. Fréquence de rotation de l'IPNe vous contentez pas de réduire le nombre d'adresses IP par seconde, mais adaptez-le de manière intelligente à la réponse du site.Absence de commutation automatiqueC'est comme un airbag pour les reptiles.

2) Ne paniquez pas lorsque vous rencontrez un CAPTCHA, répandez la demande à différents nœuds régionaux. La semaine dernière, avec le double nœud Jiangsu + Anhui d'ipipgo, le taux de CAPTCHA a directement baissé de 60%.

3. ne pas utiliser le type d'IP de la collecte matinale des heures de bureau, les agents résidentiels sont plus actifs la nuit, ce que la plupart des gens ignorent.

Avertissement relatif à la fosse commune blanche

séance de questions-réponses

Q : Est-il légal de collecter des données à l'aide d'un proxy IP ?
R : Tout comme l'enregistrement de comptes avec des numéros de téléphone mobile différents, le gouvernement encourage également l'utilisation équitable des données publiques, pour autant qu'elle n'enfreigne pas le système et qu'elle respecte le protocole des robots.

Q : Quelles sont les compétences uniques d'ipipgo ?
A : Sa famille a uneRoutage intelligentLa dernière fois que nous avons collecté une certaine plate-forme de données économiques, le taux de réussite est passé de 47% à 89%, ce qui est vraiment impressionnant !

Q : Cela coûte-t-il beaucoup d'argent à long terme ?
R : Comparé à l'interruption de l'activité causée par le blocage de l'IP, le coût du proxy est à peu près équivalent à l'achat d'une police d'assurance. Le modèle de facturation horaire d'ipipgo est particulièrement adapté aux besoins de collecte intermittents.

Enfin, un froid : la plateforme de données gouvernementale du système anti-escalade sera mise à jour le 1er de chaque mois règles, pensez à utiliser ipipgo à l'avance de lapaquet d'essaiEffectuer des tests de compatibilité. Après tout, la collecte de données, c'est comme la pêche : il faut choisir le bon appât, trouver le bon outil pour obtenir deux fois plus de résultats avec deux fois moins d'efforts.