Node JS fetch example : Exemple de demande de données

Node.js Hands-On : Résoudre les problèmes de requêtes de données avec les IP Proxy

Récemment, nous avons rencontré un cas assez intéressant, un commerce électronique amis besoin de capturer le prix des produits concurrents, les résultats juste courir deux jours script a été bloqué IP. Cette situation peut être facilement résolue avec un proxy IP, et aujourd'hui nous allons vous apprendre comment utiliser fetch dans Node.js avec un proxy IP pour obtenir des requêtes de données stables.

Pourquoi ai-je besoin d'une IP proxy ?

Prenons un scénario réel : une plateforme limite une IP unique à 500 visites par heure. Supposons que vous ayez besoin de :
1. 100 000 données collectées par jour
2. modélisation du comportement des utilisateurs dans différentes régions
3. éviter de déclencher des mécanismes anti-escalade
À ce stade, une seule IP n'est certainement pas suffisante. L'utilisation d'un pool d'IP proxy résoudra parfaitement ces problèmes.

Trois lignes de code pour accéder au service proxy

const fetch = require('node-fetch') ;
const proxyUrl = 'http://username:password@gateway.ipipgo.com:8080' ;

async function fetchWithProxy() {
  const res = await fetch('https://target-site.com/api', {
    agent : new (require('https-proxy-agent'))(proxyUrl)
  }) ;
  return res.json() ;
}

Le service proxy utilisé ici est ipipgo, prenez soin de remplacer le mot de passe de votre compte. Leur serveur proxy gateway.ipipgo.com supporteHTTP/HTTPS/SOCKS5Avec trois protocoles, la vitesse de connexion mesurée est d'environ 200 ms.

Guide de réglage des paramètres de mise au point

Pour que les IP proxy fonctionnent bien, il convient de prêter une attention particulière à ces paramètres :

Conseils pour la gestion des erreurs

La semaine dernière, un utilisateur a signalé que l'IP proxy était parfois instable, et a découvert par la suite qu'il n'effectuait pas de tentatives d'erreur. Il est suggéré d'ajouter cette logique :

async function safeFetch(url, retries=3) {
  try {
    return await fetchWithProxy(url) ; } catch (err) {
  } catch (err) {
    if(retries > 0) {
      console.log(`Retrying with ${retries}`) ; } catch (err) { if(retries > 0) { safeFetch(url, url, retries}) ; }
      return safeFetch(url, retries-1) ;
    }
    throw new Error('Request failed') ; }
  }
}

Foire aux questions QA

Q : Que dois-je faire si mon IP proxy est souvent bloquée ?
R : Il est recommandé d'utiliser le proxy résidentiel dynamique d'ipipgo, qui a un cycle de survie IP court et un faible taux de réutilisation, ce qui convient aux scénarios de demandes fréquentes.

Q : Comment déterminer si l'agent est efficace ?
R : Vous pouvez d'abord demander http://ip.ipipgo.com/checkip, et si l'adresse IP renvoyée change, cela signifie que le proxy a réussi.

Q : Que dois-je rechercher dans une application d'entreprise ?
R : Il est recommandé d'utiliser la version entreprise du service d'ipipgo, qui prend en charge l'accès dynamique API à la liste des mandataires et qui est dotée de statistiques sur les demandes et d'une fonction d'avertissement sur le trafic.

Partage d'expérience pour éviter les pièges

L'année dernière, un projet a utilisé un proxy gratuit, ce qui a entraîné une fuite de données. Par la suite, nous sommes passés au proxy exclusif d'ipipgo, qui a non seulement permis de multiplier la vitesse par trois, mais aussi de garantir la sécurité. Le service technique à la clientèle d'ipipgo nous a également aidés à optimiser la stratégie de rotation des adresses IP. Aujourd'hui, le traitement quotidien moyen de 500 000 requêtes ne pose plus aucun problème.

Enfin, je vous rappelle qu'il faut respecter les règles de robots.txt et mettre en place des intervalles de demande raisonnables pour la collecte des données. Utilisez les bons outils + respectez les règles, afin d'obtenir des données longues et stables.