Yahoo Finance Web Crawl : une solution complète pour l'acquisition automatisée de données boursières

Tout d'abord, pourquoi utiliser un proxy IP pour accéder à Yahoo Finance ? Il faut aller au fond des choses.

Les amis qui s'intéressent aux données boursières savent que les données de Yahoo Finance sont complètes et nouvelles, mais qu'ils n'aiment pas du tout le crawl de la page web. L'année dernière, lorsque j'ai aidé mes amis investisseurs à obtenir des données, j'ai constaté que l'adresse IP de leur entreprise avait été supprimée par Yahoo à trois reprises - le matin, elle était encore normale, mais l'après-midi, elle recevait un 403 interdit, et même l'intranet de l'entreprise ne pouvait plus accéder à Yahoo.

Il y a là un malentendu qu'il convient de dissiper :Ce n'est pas comme si vous pouviez jouer avec des proxies.Le mécanisme anti-escalade de Yahoo ! Le mécanisme anti-escalade de Yahoo est très intelligent, l'IP ordinaire (c'est-à-dire le type d'enregistrement en masse de l'IP du serveur en nuage) cinq minutes peut vous donner à identifier. L'année dernière, il y a un ami qui ne croit pas au mal, avec un certain trésor pour acheter un pool de proxy bon marché, les résultats de plus de 2000 IP une demi-heure tous gaspillés.

Deuxièmement, le choix de l'adresse IP du proxy est plus profond que vous ne le pensez.

Il suffit de regarder d'abord ce tableau comparatif :

C'est là que le bât blesse :Proxy résidentiel dynamique pour ipipgoIl y a un chef-d'œuvre, ils peuvent automatiquement ajuster la fréquence de commutation IP en fonction de la stratégie anti-escalade du site cible. Le mois dernier, pour aider les clients à configurer, le même code ASIN des données de base, avec le proxy ordinaire pour supporter jusqu'à 20 requêtes, avec le proxy dynamique d'ipipgo difficile à exécuter plus de 300 fois n'a pas déclenché le contrôle du vent.

Troisièmement, la main pour vous apprendre à monter le système de capture

Ne vous précipitez pas pour écrire du code, souvenez-vous d'abord de ce processus :

1. Créez un canal dédié à "Yahoo Finance" dans le backend d'ipipgo (ils auront des stratégies d'évitement anti-crawl pré-intégrées).
2. Définir des règles de rotation des adresses IP : il est recommandé de changer d'adresse IP toutes les 50 requêtes, et de changer automatiquement lorsque le délai de chargement de la page est de 3 secondes.
3. Veillez à inclure Accept-Encoding : gzip dans l'en-tête de la requête (cela peut réduire la consommation de trafic des 30%).
4. Conseil clé : Réduire la fréquence des demandes en dehors des heures de négociation (de 1 à 4 heures du matin, heure de l'Est)

L'exemple de code est écrit de cette manière (version Python) :

demandes d'importation
à partir d'un choix d'importation aléatoire

proxies_pool = ipipgo.get_proxy_pool('yahoo_finance') récupère le pool d'IP exclusif d'ipipgo
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0 ; rv:126.0) Gecko/20100101 Firefox/126.0'}

def fetch_data(url).
    for _ in range(3) : retry 3 times
        proxy = {'https' : choice(proxies_pool)}
        try : resp = requests.get(url) : for _ in range(3) : retry 3 times
            resp = requests.get(url, headers=headers, proxies=proxy, timeout=5)
            if resp.status_code == 200 : return resp.
                return resp.text
        sauf.
            ipipgo.report_failed(proxy) signalant les IP qui ont échoué
    return None

IV. lignes directrices pour éviter les pièges (expérience de sang et de larmes)

Les mines sur lesquelles nous avons marché l'année dernière nous ont donné des conseils :

• Ne jamais faire appel à un agent libre.Un test a utilisé une base de données publique de procurations, et les données renvoyées ont été insérées avec de faux prix d'actions.
• Piège du fuseau horaire : Yahoo renverra les données dans des formats différents en fonction du fuseau horaire de l'adresse IP d'accès, n'oubliez pas d'ajouter X-Timezone : UTC dans l'en-tête de la requête.
• Ne paniquez pas lorsque vous rencontrez un CAPTCHA : désactivez immédiatement l'IP actuelle pendant au moins 2 heures, l'arrière-plan du proxy d'ipipgo a une fonction d'hibernation automatique !

V. Foire aux questions AQ

Q : Combien de temps faut-il pour se remettre d'un blocage d'IP ?
R : Le blocage d'IP de Yahoo est divisé en trois niveaux : blocage léger 4-6 heures, blocage lourd 3 jours, et les IP bloquées de manière permanente sont recommandées pour être supprimées directement. Si vous utilisez ipipgo, leur pool d'IP dispose d'un mécanisme de refroidissement automatique et vous ne rencontrerez pas de blocage permanent.

Q : Est-il plus rapide de saisir plusieurs téléscripteurs en même temps ?
R : Grosse erreur ! Il est recommandé d'opérer dans un seul thread et d'échanger du temps contre de la stabilité. Les requêtes concurrentes multithread testées sont au contraire susceptibles de déclencher des alertes de fréquence.

Q : Le scraping de données est-il légal ?
R : Tant que vous ne dépassez pas la limite de robots.txt (Yahoo Finance autorise une capture modérée), et que vous ne l'utilisez pas à des fins de revente commerciale, tout ira bien. Il est recommandé de ne pas dépasser un volume de 50 000 articles par jour.

VI. pourquoi faut-il que ce soit ipipgo ?

Honnêtement, j'ai testé 7 à 8 fournisseurs de proxy sur le marché. Les mêmes 10 années de données sur le cours de l'action Apple (AAPL) ont été utilisées pour le test comparatif du mois dernier :

• Proxy ordinaire : 3 heures et 26 minutes, déclenchement de 17 CAPTCHAs
• ipipgo Dynamic Proxy : 1 heure 48 minutes pour le faire, pas de CAPTCHA dans tout le processus !

leurTechnologie de routage intelligentEn effet, ils disposent de deux brosses et peuvent identifier automatiquement les changements dans la structure de la page web. Il est arrivé que Yahoo Finance change de version, et avant que nous ayons eu le temps d'ajuster les règles d'analyse, leur proxy s'est en fait automatiquement adapté à la nouvelle mise en page, ce qui a surpris le directeur technique de mon équipe.

Enfin, je voudrais vous raconter une histoire vraie : la semaine dernière, un client n'était pas convaincu qu'il devait utiliser un pool de proxy construit par ses soins pour récupérer les données de Yahoo. Il est donc venu nous voir hier pour nous dire que plus de 200 IP n'étaient pas valides. Si j'avais utilisé ipipgo, le coût d'exploitation et de maintenance aurait été suffisant pour acheter trois ans de service. Pour s'engager dans ces données, le bon outil peut vraiment faire économiser dix ans de détours.