Ensembles de données sur les marchés boursiers : données sur les marchés boursiers

Les trois grands maux de la saisie des données boursières

Les vieux briscards de l'analyse boursière savent qu'il n'est vraiment pas facile d'obtenir des données de marché fiables. Lorsque j'ai commencé à recueillir moi-même des données, j'ai toujours été confronté à ces trois situations :Soit cela, soit la page se charge très lentementetSoit cela, soit l'adresse IP est bloquée dans les minutes qui suivent la capture.etSoit vous obtenez des données qui ne correspondent pas à la réalité, soit ce n'est pas le cas.La première chose à faire est de se salir les mains. D'autant plus que de nombreux sites financiers ont mis en place des systèmes de protection intelligents, le même accès continu à l'IP pouvant être piraté en quelques minutes.

Comment les adresses IP proxy sont devenues le sauveur de la fête des données

Supposons que vous souhaitiez saisir les données des six derniers mois relatives aux transactions en temps partagé d'une action, la situation normale peut nécessiter de visiter le site des dizaines de fois d'affilée. À ce moment-là, si vous utilisez l'agent résidentiel dynamique d'ipipgo, chaque demande d'un utilisateur réel pour changer l'adresse du réseau, le site ne peut tout simplement pas faire la distinction entre la machine et une personne réelle dans l'opération. C'est comme jouer à cache-cache en changeant constamment de gilet, l'autre côté ne peut jamais vous attraper.

demandes d'importation

proxies = {
    'http' : 'http://api.ipipgo.com:8000',
    'https' : 'http://api.ipipgo.com:8000'
}

response = requests.get('Interface de données pour un site web financier', proxies=proxies, timeout=10)

Conseils pratiques : création de pipelines de données avec ipipgo

Voici un scénario de configuration réellement utilisable :

C'est là que le bât blesse.Réglage de l'intervalle de demandeMême si vous utilisez un proxy pour simuler le rythme d'une opération humaine réelle, il est suggéré dans le code d'ajouter un temps d'attente aléatoire, afin de ne pas laisser le site trouver la loi. Il est suggéré dans le code d'ajouter un temps d'attente aléatoire, pour ne pas laisser le site trouver la loi. L'arrière-plan d'ipipgo peut être configuré pour commuter automatiquement l'intervalle, cela devrait être et la fréquence des requêtes du crawler avec bon.

Foire aux questions QA

Q : Ne puis-je pas utiliser un proxy gratuit ?
R : Neuf proxys gratuits sur dix sont instables, ils ne parviennent souvent pas à se connecter et sont lents. J'ai déjà essayé d'utiliser un proxy gratuit pour capturer des données, et j'ai dû m'y prendre à huit reprises en une demi-heure, et les données étaient toutes abîmées.

Q : Quelle est la différence entre ipipgo et les autres ?
R : Leurs proxies résidentiels sont des IP propres utilisées par de vraies personnes, contrairement à certaines plateformes qui utilisent des IP de salles de serveurs qui sont facilement identifiables. La dernière fois, j'ai capturé des données pendant 3 jours d'affilée et aucun bannissement n'a été déclenché.

Q : Que dois-je faire si je rencontre un CAPTCHA ?
R : Pour l'instant, nous devrions travailler avec la fonction d'empreinte du navigateur d'ipipgo pour masquer l'en-tête de la requête, le fuseau horaire et ces paramètres comme s'il s'agissait de vrais navigateurs. Si vous n'y arrivez vraiment pas, vous pouvez contacter leur service clientèle pour trouver une solution.

Guide pour éviter la fosse

L'erreur la plus fréquente commise par les débutants est la suivanteLa configuration du proxy ne fonctionne pasLa première chose à faire est d'imprimer l'adresse IP réelle dans le code. Il est recommandé d'imprimer l'IP réelle dans le code pour confirmer qu'il ne s'agit pas réellement d'un proxy. ipipgo background real-time traffic monitoring, you can see which node is used for each request, this feature is particularly practical.

Enfin, une leçon apprise : j'ai oublié de définir le paramètre timeout une fois, et le serveur proxy s'est bloqué, entraînant l'arrêt du programme. Il est recommandé d'ajoutertimeout=10Ce délai est fixé pour éviter que le script entier ne se bloque.