Serveur proxy Node JS : Construction d'un proxy HTTP

Utilisation de Node.js pour construire un serveur proxy

Récemment, beaucoup d'amis ont demandé comment utiliser Node.js pour obtenir leur propre serveur proxy. Ce n'est pas difficile, mais il y a quelques pièges auxquels il faut faire attention. Aujourd'hui, nous allons le décomposer et le réduire en miettes, en nous concentrant sur la façon d'utiliser les ressources d'IP proxy d'ipipgo pour améliorer l'efficacité.

Pourquoi construire son propre serveur proxy ?

Pour citer un marronnier, faire de la collecte de données des amis doit avoir une compréhension profonde. Certains sites web empêchent les crawlers et les voleurs d'accéder à leur propre IP, qui sera bloquée en quelques minutes. À l'heure actuelle, si vous disposez d'un serveur proxy, la requête provenant de l'adresse IP d'autres personnes est éloignée, le taux de survie peut être doublé plusieurs fois. En outre, le pool de proxy d'ipipgo est très large, et il y a des IP dans tout le pays, ce qui est particulièrement adapté à ce genre de scénario qui nécessite des changements fréquents.

Préparez vos affaires.

Commencez par installer la dernière version de Node.js (16.x ou plus recommandée) et créez un nouveau dossier. Tapez ces deux lignes dans le terminal :

npm init -y
npm install http-proxy express

Ici, nous utilisons la bibliothèque http-proxy, plutôt que le module natif pour économiser beaucoup de choses. express, utilisé pour traiter le routage est plus pratique.

Comment écrire le code de base

Créez un nouveau fichier app.js et insérez-le :

const express = require('express') ;
const { createProxyMiddleware } = require('http-proxy-middleware') ;

const app = express() ;

// C'est là que le bât blesse ! Configurez les règles de proxy ici
app.use('/proxy', createProxyMiddleware({
  target : 'http://目标网站.com',
  changeOrigin : true, pathRewrite : {
  pathRewrite : {
    '^/proxy' : ''
  },
  onProxyReq : (proxyReq, req) => {
    // Ici, vous pouvez insérer l'IP proxy de ipipgo
    proxyReq.setHeader('X-Forwarded-For', 'ipipgo.getNewIP()') ;
  }
}))) ;

app.listen(3000, () => {
  console.log('Le service proxy a démarré sur le port 3000') ;
}) ;

Remarquez le callback onProxyReq, qui est iciRemplacement des IP mandataires dans les lieux clés. L'obtention dynamique de nouvelles adresses IP à l'aide de l'API d'ipipgo est beaucoup plus sûre que l'écriture d'adresses IP mortes.

Comment gérer l'IP proxy avec le moins d'efforts possible

La maintenance d'un pool d'IP proxy par vos propres moyens représente une charge de travail trop importante et il est recommandé d'utiliser directement un service prêt à l'emploi. ipipgo présente plusieurs avantages :

Compétences pratiques en matière de débogage

Après avoir démarré le service, testez les résultats avec curl :

curl -x http://localhost:3000/proxy http://目标网站.com/api/data

Si vous voyez les données renvoyées, cela signifie que le proxy fonctionne. Il est recommandé d'ajouter un logiciel intermédiaire de journalisation dans le code afin d'enregistrer l'adresse IP d'ipipgo utilisée pour chaque requête, de manière à faciliter le dépannage ultérieur.

Foire aux questions QA

Q : Que se passe-t-il si l'agent cesse soudainement de fonctionner ?
R : Vérifiez d'abord si le solde d'ipipgo est suffisant, puis examinez les paramètres de la liste blanche d'autorisation d'IP. Quatre-vingt pour cent du site cible a bloqué l'IP actuelle, essayez une autre région.

Q : Comment puis-je augmenter la vitesse de la requête ?
A：Enable "Long Connection Mode" dans la console ipipgo pour réutiliser la connexion TCP. De plus, ajustez le paramètre maxSockets de Node.js de manière appropriée, il est recommandé de le fixer à environ 50.

Q : Que dois-je faire si je rencontre une erreur de certificat SSL ?
R : Ajoutez rejectUnauthorized : false à la configuration du proxy, mais il est recommandé de configurer un certificat CA approprié pour les environnements de production.

Mise à niveau du jeu

Ajouter une couche d'authentification au service proxy afin de n'autoriser que certains utilisateurs à l'utiliser. Générer des jetons d'accès dans le backend ipipgo, afin de pouvoir contrôler l'utilisation des permissions, mais aussi des statistiques sur l'utilisation. Ajouter un middleware dans le code pour vérifier le jeton dans l'en-tête de la requête, simple et sécurisé.

Un dernier mot d'avertissement : construire son propre serveur proxy est amusant, mais c'est très fatigant à entretenir. Si vous avez une grande entreprise, il est préférable d'acheter un service proxy prêt à l'emploi. Comme ipipgo, il est possible de payer au volume, combien utiliser, combien compter, plutôt que de s'inquiéter soi-même.