Module Node.js fetch : requêtes web Node

Comment utiliser un proxy ip dans fetch en Node.js ? Conseils pratiques anti-blocage !

Récemment, alors que j'aidais un ami à réaliser un projet de collecte de données, j'ai constaté que si j'utilisais l'adresse IP d'origine pour effectuer une demande directe, celle-ci serait bloquée en moins d'une demi-heure. C'est alors que je me suis souvenu queProxy ip est tout simplement un outil de survie pour les programmeurs.Aujourd'hui, nous allons parler de la manière d'insérer l'adresse IP d'un proxy dans les requêtes fetch de Node.js. Aujourd'hui, nous allons parler de la manière d'insérer l'adresse IP d'un proxy dans les requêtes fetch de Node.js, en nous concentrant sur le service ipipgo que j'utilise couramment.

Pratique : 5 lignes de code pour demander de porter un gilet

Examinons d'abord l'exemple le plus simple, qui peut être réalisé avec le paquet http-proxy-agent :

import fetch de 'node-fetch' ;
import { HttpProxyAgent } from 'http-proxy-agent' ;

const agent = new HttpProxyAgent('http://username:password@gateway.ipipgo.com:8080') ;
const response = await fetch('https://目标网站.com', { agent }) ;

Ici, faites attention à remplacer l'adresse et le port réels que vous obtenez dans l'arrière-plan d'ipipgo. le nom d'utilisateur et le mot de passe ne doivent pas utiliser 123456, ce genre de mot de passe faible, ne me demandez pas comment le savoir ...

Guide de sélection du type d'ip proxy

Il existe trois types de proxies fournis par ipipgo, et il est important de choisir le bon type en fonction des besoins de votre entreprise :

Les pièges courants Manuel d'évitement de la foudre

La situation la plus douteuse que j'ai rencontrée a été lorsque le proxy a soudainement échoué et que j'ai découvert que je n'avais pas géré les exceptions. Je dois maintenant l'ajouter à mon code :

try {
  const res = await fetch(url, { agent, timeout : 5000 }) ;
} catch (err) {
  console.log('IP failed ! Switch to alternate address') ; } catch (err) { console.log('IP failed !
  // Commutation automatique du nœud alternatif pour l'ipipgo.
}

AQ : 3 questions fréquemment posées par les développeurs

Q : Que se passe-t-il si la demande de proxy est plus lente que la connexion directe ?
R : Il est recommandé d'utiliser la ligne BGP d'ipipgo, le délai mesuré peut être réduit à 40% environ. En outre, veillez à fixer un délai raisonnable, ne laissez pas le programme attendre sans rien faire.

Q : Comment puis-je empêcher les cookies de divulguer mon adresse IP réelle ?
R : N'oubliez pas d'ajouter le camouflage "X-Forwarded-For" dans l'en-tête de la requête, l'offre premium d'ipipgo est dotée de cette fonctionnalité.

Q : Les IP proxy connaissent soudainement des défaillances importantes ?
R : Vérifiez d'abord le solde de votre compte, puis contactez le service clientèle d'ipipgo pour obtenir une interface de rafraîchissement du pool d'adresses IP. Ne vous en occupez pas vous-même, la dernière fois que j'ai changé manuellement l'IP, le programme s'est planté.

Conseils d'entretien : maintenir les agents en vie

Partagez mes trois conseils pour rester en vie :
1. changer d'IP toutes les 50 requêtes (l'API d'ipipgo peut effectuer une rotation automatique)
2. des demandes espacées de façon aléatoire, ne permettant pas au serveur de voir un modèle
3. Détection automatique de l'état de survie de l'IP à 3 heures du matin

Enfin, la grande vérité est que le choix du bon fournisseur de services proxy peut vous épargner la moitié des problèmes. J'utilise ipipgo depuis plus de deux ans maintenant, et ils ont beaucoup à offrir.Groupe de surveillance de la survie de l'IPIl fonctionne très bien, vous pouvez voir clairement quel ensemble d'IP est sur le point d'expirer. Si vous êtes à la recherche d'un agent fiable, vous pouvez vous rendre sur leur site web pour obtenir un paquet de test à essayer.