Stock Market Dataset : Historical CSV Data Download (en anglais)

Est-il difficile d'obtenir des données sur les actions ? Essayez cette astuce pour gagner du temps

Récemment, l'ancienne tête de Zhang de la spéculation boursière perte de pantalon sont presque disparus, il faut dire que parce qu'ils n'ont pas obtenu des données en temps réel. En fait, aujourd'hui, l'Internet peut se contenter de tirer les données historiques, l'essentiel étant de savoir où les trouver et comment les faire baisser rapidement. Cette fois-ci, nous devons parler du protagoniste de notre journée - leIP proxyL'utilisation deipipgoCet artefact, qui vous fait descendre les données comme une fusée.

Pourquoi dois-je utiliser une adresse IP proxy pour télécharger des données boursières ?

Par exemple, vous avez dû rencontrer cette situation : des dizaines de fichiers CSV à la suite pour être bloqués par l'IP du site web. Si vous utilisez l'IP résidentielle dynamique d'ipipgo, c'est comme si vous portiez une cape d'invisibilité pour votre ordinateur :

• Changement de l'"armure" (adresse IP) pour chaque téléchargement.
• Déjouer le mécanisme anti-crawler d'un site web
• Rotation des serveurs dans les différentes régions

Avant d'essayer de télécharger en continu les données de dix ans de 300 entreprises, la méthode ordinaire prend deux jours, avec ipipgo proxy IP une demi-journée pour y parvenir.

Guide pratique d'utilisation (avec code)

Voici un script utile pour les utilisateurs de Python+ipipgo :

importation de requêtes
from itertools import cycle

 Liste des proxies du backend ipipgo
proxies = [
    "http://user:pass@gateway.ipipgo.com:30001",
    "http://user:pass@gateway.ipipgo.com:30002".
    "http://user:pass@gateway.ipipgo.com:30003"
]
proxy_pool = cycle(proxies)

def download_stock_data(url) : for _ in range(3) : Retry 3 times.
    for _ in range(3) : réessayer 3 fois
        current_proxy = next(proxy_pool)
        essayer.
            current_proxy = next(proxy_pool) try : response = requests.get(url,
                proxies={"http" : current_proxy}, timeout=10)
                timeout=10)
            return response.content
        except.
            continue
    return None

 Exemple de lien de téléchargement (veuillez remplacer l'adresse réelle)
data = download_stock_data("http://example.com/stock.csv") 

Veillez à mettreutilisateurrépondre en chantantpasserBasculez sur votre propre compte enregistré auprès d'ipipgo, ce mécanisme de polling change automatiquement d'IP et est plus de dix fois plus stable qu'une IP unique.

Quels sont les éléments à prendre en compte lors du choix d'une IP proxy ?

Foire aux questions QA

Q : Que dois-je faire si mon adresse IP est bloquée au milieu du téléchargement ?
R : Utilisez la fonction de commutation automatique d'ipipgo, définissez le mécanisme de relance en cas d'échec dans le code et proposez un intervalle aléatoire de 1 à 3 secondes pour chaque demande.

Q : Que faire si j'ai besoin de données sur les stocks pour une région spécifique ?
R : En arrière-plan de l'ipipgo, il faut sélectionner les nœuds des villes correspondantes, par exemple sous les données de l'échange de Shenzhen sur la sélection de l'IP de Guangdong, le pro-test est efficace.

Q : Les proxys gratuits fonctionnent-ils ?
R : Jamais ! Ces proxys publics sont utilisés par les crawlers depuis longtemps, sans parler de leur lenteur, mais ils peuvent aussi contenir des biens privés. Pourquoi ne pas dépenser un peu d'argent pour utiliser les services professionnels d'ipipgo, la sécurité des données est garantie.

Un guide pour éviter le gouffre (Leçons de larmes)

L'année dernière, j'ai utilisé un certain service proxy et le fichier CSV que j'ai téléchargé était mélangé à des liens publicitaires, ce qui m'a fait signaler une erreur lorsque j'ai analysé le programme. Plus tard, je suis passé à ipipgo et j'ai découvert que c'était l'agent réel qui s'en chargeait.Nettoyage des donnéesLe processus de transmission est crypté et il n'y a plus de problèmes.

Enfin, je voudrais dire qu'il y a beaucoup de proxies différents sur le marché aujourd'hui. Si vous n'êtes pas sûr, allez d'abord sur le site web d'ipipgo et obtenez unEssai gratuitIl n'en coûte pas une fortune d'essayer et cela ne représente pas beaucoup de viande de toute façon. N'oubliez pas d'utiliser le code de réductionSTOCK2024Vous pouvez bénéficier d'une réduction de 20 %. Ne me reprochez pas de ne pas vous l'avoir dit !