News Organisation API : Interface de données NYT/Reuters

Pourquoi dois-je utiliser une adresse IP proxy pour les données d'actualité ?

Tous ceux d'entre vous qui font de l'analyse de données doivent savoir qu'essayer de glaner des données à partir de grandes interfaces d'information comme le New York Times et Reuters est le plus grand casse-tête qui soitIP bloquéL'interface de ces plateformes est comme un oiseau dans les phares. L'interface de ces plateformes est comme un oiseau effrayé, la même demande d'IP plus de 5 fois de suite, vous donne immédiatement une liste noire. Notre équipe utilisait auparavant un serveur local pour lutter avec acharnement, les résultats du jour suivant, l'ensemble des segments IP de la salle des serveurs sont bloqués, le projet de données est directement paralysé.

C'est à ce moment-là qu'il est temps de déménagerpool d'IP proxyIl s'agit d'un outil formidable. En clair, il s'agit de laisser les serveurs de différentes régions se relayer pour vous aider à travailler, par exemple, cette fois-ci avec l'IP allemande pour récupérer des données, la fois suivante pour passer à l'IP japonaise pour continuer. Le proxy résidentiel dynamique d'ipipgo est le plus impitoyable : il permet dePassage automatique d'un environnement réseau à un autre pour l'utilisateur réelIl est plus de dix fois plus fiable que les agents de la salle des machines.

Pratique avec ipipgo pour docker les APIs de news

Voici un marronnier en Python, installez d'abord le SDK pour ipipgo (ne touchez pas directement aux requêtes, il est facile de se faire reconnaître) :

from ipipgo import RotatingProxy

proxy = RotatingProxy(api_key="votre clé")
nyt_api = "https://api.nytimes.com/svc/archive/v1"

 Changement automatique d'IP à chaque demande
for year in range(2020,2024): : data = proxy.get(f "2020,2024")
    data = proxy.get(f "{nyt_api}/{year}/1.json")
     Traitement de la logique des données...

Voici le point essentiel.Fixer des intervalles de demande raisonnablesLa première étape consiste à ajouter un module aléatoire au code. Même si vous utilisez un proxy, n'envoyez pas une requête comme si vous vous branliez, nous vous suggérons d'ajouter un module aléatoire dans le code, de sorte que l'intervalle entre chaque requête fluctue aléatoirement entre 3 et 8 secondes. Il ne s'agit pas seulement d'assurer l'efficacité et d'empêcher le blocage.

Un guide pour marcher dans les fosses : les erreurs commises par les débutants en 90%

1. Manque de pureté de la propriété intellectuelleCertains proxies récupèrent les adresses IP figurant sur la liste noire. Les adresses IP d'ipipgo sont "blanches" et font l'objet d'une vérification en temps réel.
2. L'en-tête de la requête n'est pas déguisé.N'oubliez pas d'ajouter Accept-Language et User-Agent aux en-têtes.
3. Le délai d'attente est trop courtLa réponse de l'API des actualités peut parfois être saccadée, il est recommandé de fixer le délai d'attente à 15 secondes ou plus !

Foire aux questions QA

Q : Une adresse IP bloquée peut-elle être rétablie ?
R : Utiliser le mécanisme de récupération automatique d'ipipgo sur la ligne, l'IP anormale sera immédiatement mise hors ligne, la nouvelle IP dans les 30 secondes pour remplir la position.

Q : Quel volume de propriété intellectuelle dois-je acheter pour en avoir suffisamment ?
R : Pour 500 requêtes par heure, il est recommandé de choisir l'offre de base de 500 adresses IP, ce qui permet d'économiser de l'argent.

Q : Quelle est la différence entre vous et les autres agents du marché ?
A : ipipgo originalTechnologie d'obscurcissement des empreintes digitalesLa possibilité de rendre les empreintes TCP de chaque demande non répétables, notamment pour faire face à la détection difficile des plateformes d'information.

Une dernière remarque : les API d'information sont de plus en plus perverties en termes de contrôle des risques ces jours-ci. La semaine dernière, un client a utilisé un proxy commun pour obtenir des données de Reuters, a couru dix minutes et a reçu une lettre d'avertissement de l'avocat. Plus tard, il a changé l'ipipgoSolutions pour les entreprisesGrâce à la géolocalisation et à la fonction de camouflage des empreintes digitales de l'appareil, il fonctionne régulièrement depuis trois mois sans être retourné. Si l'on s'engage dans cette voie, le bon choix d'outils peut réellement réduire le détour de trois ans.