Node.js native fetch using proxies : request configuration

Pratique de Node.js fetch avec proxies

咱们搞爬虫的兄弟都懂，用原生fetch目标网站，分分钟就被封IP。这时候就得请出代理IP这个救兵了。今天不讲那些虚头巴脑的理论，直接上硬菜，教你怎么用Node.js最新版自带的fetch配代理。

Pourquoi ai-je besoin d'une IP proxy ?

Pour donner un exemple, votre coursier porte les mêmes vêtements tous les jours pour effectuer ses livraisons, le portier ne s'en souvient pas rapidement ? L'IP proxy est comme une variété de gilets pour le coursier, chaque fois que vous changez de vêtements, le portier ne le reconnaîtra pas. UtilisationipipgoLa réserve dynamique d'adresses IP de la maison équivaut à avoir des centaines de coursiers en attente à tout moment, collectant des données aussi régulièrement qu'un lot.

Trois étapes pour la configuration des agents

import fetch de 'node-fetch' ;
import { HttpProxyAgent } from 'http-proxy-agent' ;

// Remplacez ceci par votre propre canal proxy ipipgo
const proxyUrl = 'http://username:password@gateway.ipipgo.com:9021' ;

const response = await fetch('https://目标网站.com', {
  agent : new HttpProxyAgent(proxyUrl)
}).

prendre noteTrois priorités: :
1. l'adresse du proxy doit être dans le bon format, par exemple le nom d'utilisateur et le mot de passe ne doivent pas être écrits dans le mauvais sens
2. les protocoles http et https devraient être clairement différenciés
3. ne pas copier le numéro de port, il dépend du fournisseur de services de donner le numéro de port.

Guide pratique pour éviter la fosse

Vous pouvez ajouter un élément de configuration si vous avez des problèmes avec les certificats :

const response = await fetch(url, {
  agent : new HttpProxyAgent(proxyUrl), {
  rejectUnauthorized : false // ignore la validation du certificat
}) ;

Cependant, cela n'est pas sûr et il est recommandé que leconsole ipipgoIl suffit de télécharger leur certificat CA et de l'attribuer au système.

Tableau de comparaison des paramètres proxy

Foire aux questions QA

Q : Que dois-je faire si je ne peux pas me connecter à l'agent ?
R : Vérifiez d'abord les trois pièces du puzzle : l'adresse, le port et le mot de passe. Utilisez leipipgoL'outil d'inspection en ligne mesure l'état du canal.

Q : Les demandes ralentissent-elles soudainement ?
R : Il se peut que l'adresse IP actuelle soit limitée, ajoutez une logique de commutation automatique de l'adresse IP dans le code ou utilisez l'API de rotation intelligente fournie par leur famille.

Q : Une erreur ECONNRESET s'est produite ?
R : 80% de l'agent est instable, il faut changer un emballage anonyme. Suggérer d'essayeripipgo Entreprisede lignes exclusives, stable comme un vieux chien.

Je vais vous dire ce qui me préoccupe.

Les agents sont bien utilisés et vous rentrez plus tôt du travail. L'essentiel est de choisir le bon prestataire de services, commeipipgoCe type de vue en temps réel du trafic restant, l'utilisation du cœur est solide. La vitesse de réponse de l'assistance technique est également rapide, la dernière fois à deux heures du matin au milieu de la nuit pour mentionner le bon de travail, dix minutes pour résoudre le problème.

Enfin, pour rappeler aux amis débutants, la phase de test doit d'abord acheter un forfait de paiement au volume, ne pas se présenter pour facturer la cotisation annuelle. N'oubliez pas de faire un bon travail de réessai des erreurs dans le code, ne laissez pas une IP se bloquer sur l'ensemble du programme. Si vous ne comprenez pas quelque chose, allez directement sur leur site officiel pour trouver le service clientèle en ligne, signalez mon nom... oubliez ça, signaler mon nom n'est pas à prix réduit (rires).