Construction d'un serveur proxy léger (Node.js)

Tout d'abord, pourquoi avez-vous besoin de lancer votre propre serveur proxy ?

Récemment, j'ai constaté que beaucoup d'amis qui font de la collecte de données se demandent si l'utilisation de services proxy prêts à l'emploi n'est pas assez flexible. Par exemple, si vous souhaitez changer temporairement d'adresse IP, vous devez attendre la réponse du service clientèle, ou il est trop tard pour faire face à un blocage soudain. C'est pourquoi la construction d'un serveur proxy léger est particulièrement pratique, comme un couteau suisse, qui permet de résoudre à tout moment les problèmes rencontrés.

Il est particulièrement important de choisir la bonne ressource IP pour le proxy. Si vous utilisez ces IP publiques gratuites, neuf fois sur dix, vous serez identifié par le site web cible. Je l'ai moi-même testé.ipipgole taux de réussite peut atteindre 95% ou plus. Leurs IP sont de véritables IP résidentielles utilisées par de vraies personnes, ce qui est particulièrement important dans le cadre d'activités commerciales nécessitant un grand anonymat.

Deuxièmement, la main pour construire le service proxy Node.js

Tout d'abord, installez un environnement Node (vous devriez pouvoir le faire), puis créez un nouveau dossier avec le nom que vous voulez. Tapez deux lignes dans le terminal :

npm init -y
npm install http-proxy --save

Attention à un piège ! De nombreuses personnes installenthttp-proxy-middlewareMais c'est pour un serveur de développement. Ce dont nous avons besoin, c'esthttp-proxyCette petite centrale spécialisée dans les retweets.

Un nouveau.proxy.jsle code principal n'est que de quelques lignes :

const http = require('http') ;
const httpProxy = require('http-proxy') ;

const proxy = httpProxy.createProxyServer() ;
http.createServer((req, res) => {
  proxy.web(req, res, {
    target : 'http://替换成ipipgo的代理IP:端口'
  }) ;
}).listen(3000) ;

Troisièmement, comment jouer avec l'IP proxy d'ipipgo ?

C'est là que le bât blesse ! Dans leSite officiel de l'ipipgoTrouvez l'interface API en arrière-plan, et nous vous recommandons de choisir l'offre Dynamic Residential IP. Le temps de survie de l'IP peut être personnalisé et fixé entre 5 minutes et 1 heure, ce qui est particulièrement adapté aux scénarios qui nécessitent des changements fréquents d'IP.

Indiquez l'adresse IP du proxy que vous venez d'obtenir dans le code, et n'oubliez pas d'indiquerMise à jour temporisée de l'adresse IP. Il est recommandé d'utiliser la fonction Webhook pour envoyer automatiquement la nouvelle adresse en cas de défaillance de l'IP afin que le service ne soit pas interrompu.

Quatrièmement, le test réel pour éviter le guide de la fosse

N'attendez pas de l'utiliser après l'avoir fait fonctionner, procédez d'abord à trois vérifications :

1. Dans le terminal, tapezcurl --proxy http://localhost:3000 https://api.ipipgo.com/checkVérifier si l'adresse IP renvoyée est correcte
2. Utilisez Postman pour envoyer 10 requêtes consécutives et observez si le changement d'IP est normal ou non.
3. Ajoutez un message d'erreur dans le code et changez automatiquement d'adresse IP lorsque vous rencontrez une interdiction :

   proxy.on('error', (err) => {
     console.log('Ban triggered ! Changement d'IP...') ;)
     // C'est ici que nous appelons l'interface de changement d'IP d'ipipgo.
   }) ; // C'est ici que nous appelons l'interface de changement d'IP d'ipipgo.
   

V. Trousses de premiers secours pour les problèmes courants

Q : Que dois-je faire si la vitesse du proxy ralentit soudainement ?
R : Vérifiez d'abord le réseau local, puis utilisez l'ipipgo fourni par leoutil de test pingMesurez la latence du nœud proxy. Si elle dépasse 200 ms, il est recommandé de changer l'emplacement de la salle des serveurs en arrière-plan.

Q : L'erreur 403 est-elle toujours renvoyée ?
R : 80% de l'en-tête de requête est exposé. N'oubliez pas de le définir dans le code :

headers : {
  User-Agent' : 'Mozilla/5.0 (Windows NT 10.0) proper browser', 'Accept-Language' : 'zh-CN', 'Accept-Language' : 'zh-CN'
  'Accept-Language' : 'zh-CN'
}

Q : Comment gérer plusieurs adresses IP de proxy en bloc ?
A : Créé dans le backend ipipgoGroupement IPIl peut gérer des centaines d'adresses IP en même temps et réaliser un équilibrage intelligent de la charge en définissant des poids de trafic.

VI. conseils pour améliorer votre jeu

Pour plus de discrétion, essayez ces manœuvres obscures :

• Ajouter Nginx devant le serveur proxy pour la distribution du trafic
• Dans le cadre de l'initiative de l'ipipgoplanification des créneaux horairesFonction : utiliser l'IP du bureau les jours de semaine, couper l'IP du domicile les week-ends.
• Paqueter les services proxy sous forme d'images Docker, prêtes à migrer vers des serveurs en nuage.

Enfin, si les agents auto-construits sont flexibles, leur maintenance n'est pas bon marché. Pour les activités importantes, il est recommandé d'utiliser directement les agentsLe service Proxy d'entreprise d'ipipgoIls disposent d'une équipe d'assistance technique en ligne 24 heures sur 24 qui répond aux problèmes en quelques secondes, ce qui est beaucoup moins stressant que d'essayer de le faire soi-même.