Stock Market Dataset CSV Download : Packs de données historiques sur les marchés

Pourquoi faut-il toujours télécharger des données sur les stocks ?

Récemment, l'ancien Zhang a voulu obtenir des données historiques sur les actions américaines pour effectuer une analyse, les résultats ont révélé que de nombreux sites sous un fichier csv sont plus difficiles que le ciel. Si vous ne limitez pas le nombre de téléchargements ou ne bloquez pas directement l'IP, ce qui est encore plus ennuyeux, c'est que certaines plateformes voient l'IP nationale directement bloquée. À ce moment-là, s'il existe un outil de proxy IP fiable, c'est vraiment une bénédiction déguisée.

Comment les adresses IP proxy peuvent-elles vous aider à franchir les barrières de données ?

Supposons que vous souhaitiez télécharger en masse dix ans de données quotidiennes à partir d'une plateforme financière. Le fonctionnement ordinaire peut être réduit à la cinquième fois sur l'IP bloquée. Avec le service de proxy IP d'ipipgo, chaque demande pour une IP d'exportation différente, le site ne peut pas dire s'il s'agit d'une personne ou d'une machine réelle dans l'opération. L'opération spécifique est la suivante :

import requests
from ipipgo import RotatingProxy

proxy = RotatingProxy(api_key='votre clé')
url = 'https://xxx.com/historical-data.csv'

for page in range(1, 50): : {'http' = {'http')
    proxies = {'http' : proxy.get_next()}
    response = requests.get(url, proxies=proxies)
     Sauvegarder les données localement...

Dans cet extrait de code, l'élémentRotatingProxyIl y aura une rotation automatique des IP dans différentes régions, ce qui contournera parfaitement les restrictions d'accès d'une seule IP. N'oubliez pas de définir des intervalles de requête raisonnables, afin de ne pas perturber leurs serveurs.

Quels sont les éléments à prendre en compte lors du choix d'une IP proxy ?

特别注意有些免费代理号称高速稳定，实际用起来上千毫秒都是常事。之前用ipipgo的香港金融节点测试，下载速度能稳定在2MB/s，比自家宽带还快。

Guide de configuration que même un novice peut manipuler

1) Aller sur le site officiel d'ipipgo pour ouvrir un compte, les nouveaux utilisateurs bénéficient d'une offre d'essai de 1G de trafic.
2. générer une clé API dans la console
3. sélection de paquets spéciaux pour la collecte de données financières (avec marqueur ⭐)
4) Se référer à la documentation pour configurer les paramètres du proxy.
5) Il est recommandé de tester un petit lot de données, puis d'exécuter le volume complet après stabilisation.

L'accent est mis sur l'étape 3.N'optez pas pour le forfait normal.! Les sites financiers ont un contrôle plus strict des vents et doivent utiliser des pools d'adresses IP spécialement optimisés. Certains de mes amis ont utilisé un forfait normal pour bénéficier d'une offre moins chère, et ils ont été identifiés en une demi-heure.

Scène de renversement commun à un vieux conducteur QA

Q : Pourquoi êtes-vous toujours bloqué alors que vous avez changé d'adresse IP ?
R : Les cookies et les empreintes digitales des appareils ne sont pas traités à 80 %. Il est recommandé de générer aléatoirement un User-Agent pour chaque requête avec la protection des empreintes digitales du navigateur d'ipipgo.

Q : Que dois-je faire si je suis déconnecté au milieu du téléchargement ?
R : ipipgo prend en charge la transmission continue, dans le code pour ajouter un mécanisme de relance sur la ligne. Il est recommandé de mettre en place un maximum de 3 tentatives avec un intervalle de 10 secondes.

Q : Quel nœud dois-je choisir pour placer les données de NYSE ?
A：优先选美国东海岸的金融专线，能控制在150ms以内。别迷信物理距离，有些西海岸节点反而绕路了。

Ne marchez pas dans ces nids-de-poule !

1) Ne pas écrire une adresse IP morte dans le code, utiliser un mécanisme de rotation automatique.
2) N'oubliez pas de nettoyer la connexion à temps après le téléchargement afin d'éviter que l'IP ne soit traînée jusqu'à la mort.
3. n'oubliez pas de vérifier les données importantes pour éviter de télécharger des fichiers défectueux.
4) La collecte tôt le matin n'est pas nécessairement plus sûre, cela dépend de la qualité de la période d'enquête.
5. ne soyez pas dur lorsque vous rencontrez un CAPTCHA, n'hésitez pas à aller sur la plateforme de codage.

La dernière phrase qui dérange, c'est que maintenant beaucoup de plateformes de données sont sur le contrôle intelligent des vents, il ne suffit pas de changer l'IP pour s'en rendre compte. Il est recommandé de faire correspondre l'ipipgoModèle de camouflage pour la circulationIl peut déguiser votre demande de collecte en un comportement normal du navigateur et a été testé pour contourner efficacement l'interception du contrôle des vents de 90%.