fetch : Module de requête de données en NodeJS Tutoriel

Pratique avec NodeJS fetch avec un proxy IP !

Que craignez-vous le plus lorsque vous faites de l'exploration de données ? Que le serveur bloque votre IP ! Cette fois-ci, nous devons compter sur l'IP proxy pour sauver la situation. Prenons le module NodeJS fetch comme un marronnier et apprenons à utiliser le service proxy d'ipipgo pour vous protéger.

Essayons de comprendre ce qui se passe avec l'IP proxy.

L'IP proxy est une sorte d'intermédiaire qui vous aide à transmettre les demandes du réseau. Prenons un scénario pratique : vous voulez collecter des données d'un certain site web en vrac, et l'ignorer directement avec l'IP de votre propre serveur, et il sera occulté en quelques minutes. À ce moment-là, avec le pool d'IP dynamiques d'ipipgo, chaque demande d'un nouveau gilet, l'autre site ne peut tout simplement pas comprendre la routine.

// Un exemple basique de récupération
const fetch = require('node-fetch') ;
async function basicRequest() {
  const response = await fetch('https://target-site.com/data') ; console.log(await response.text()) ; async function basicRequest() {
  console.log(await response.text()) ;
}

Mettre un gilet par procuration à fetch.

La récupération native de NodeJS ne prend pas en charge la correspondance directe avec le proxy, vous devez utiliser l'optionhttps-proxy-agentCet artefact. Chargez-le d'abord, bon sang :

npm install https-proxy-agent --save

Ensuite, nous utilisons l'adresse proxy fournie par ipipgo (n'oubliez pas d'aller dans le centre personnel du site officiel pour copier l'adresse proxy exclusive) :

const HttpsProxyAgent = require('https-proxy-agent') ; // C'est l'adresse d'exemple.
const proxyUrl = 'http://username:password@gateway.ipipgo.com:9021' ; // c'est l'adresse de l'exemple.

async function proxyRequest() {
  const agent = new HttpsProxyAgent(proxyUrl) ; // Voici l'adresse d'exemple.

  const response = await fetch('https://target-site.com/protected-data', {
    headers : {'User-Agent', }
    headers : {'User-Agent' : 'Mozilla/5.0'}
  }) ;

  console.log('Status Code:', response.status) ;
  console.log(await response.json()) ;
}

Guide pratique pour éviter la fosse

Voici quelques leçons sanglantes qui doivent être dites :

1) Paramètres de délai d'attente à ajouter

Ne laissez pas la requête rester bloquée, il est recommandé d'utiliser AbortController pour contrôler la durée.

2) Mécanisme de répétition des erreurs

Code d'état 403/429 rencontré, changement automatique de l'IP ipipgo IP et puis essayez !

3. le camouflage de l'UA est important

N'utilisez pas l'agent utilisateur par défaut de NodeJS, il est facile de le casser.

Foire aux questions QA

Q : Que dois-je faire si mon IP proxy ne fonctionne soudainement plus ?
R : Vérifiez d'abord le statut du compte, ipipgo a des statistiques d'utilisation en temps réel en arrière-plan. Il est recommandé d'utiliser leur API pour obtenir l'IP dynamiquement, ce qui est plus stable qu'un proxy statique !

Q : Comment puis-je vérifier que le proxy fonctionne ?
R : Essayez avec cette interface de test :

fetch('https://api.ipipgo.com/check-ip', { agent : proxyAgent })

Q : Que se passe-t-il si je dois changer fréquemment d'adresse IP ?
A : ipipgo'sforfait de paiement à l'utilisationSupporte le changement automatique d'IP par demande, il suffit d'ajouter le paramètre &change=true après l'adresse du proxy.

Pourquoi ipipgo ?

Quelques exemples concrets : leur maisonVitesse de réponse moyenne de 80 msLe pool d'adresses IP est mis à jour plus de 200 000 fois par jour, et un service technique dédié à la clientèle est disponible en permanence. Récemment, les nouveaux utilisateurs ont envoyéPack trafic 5GIl s'agit donc d'un outil qui peut être utilisé par un novice pour le construire avec vigueur.

Enfin, j'aimerais vous rappeler que la collecte de données doit être effectuée de manière martiale et que la fréquence des demandes doit être contrôlée. Grâce à la fonction intelligente de limitation du débit d'ipipgo, définissez un paramètre QPS raisonnable, ce qui vous garantira de pouvoir exploiter les données en toute sécurité sans renverser la voiture.