Node Proxy : Construire un serveur proxy HTTP avec Node.js

Pratique avec Node pour obtenir un serveur mandataire (proxy)

Récemment, beaucoup d'amis qui font de la collecte de données me demandent toujours s'il y a un moyen de construire un serveur proxy pour changer d'IP, en fait, cette chose avec Node.js peut être faite en quelques minutes. Aujourd'hui, nous allons en parler, d'ailleurs, pour vous donner un fournisseur d'IP proxy fiable -ipipgo.

Pourquoi dois-je créer mon propre serveur proxy ?

Par exemple, vous avez écrit un script de crawler, mais le site web cible a bloqué votre IP. Si vous disposez d'un serveur proxy capable de changer d'IP, c'est comme si vous jouiez à un jeu avec une armure de résurrection, et vous pouvez continuer à travailler avec une autre IP. Les avantages de la construction de votre propre serveur proxy sont les suivantsHautement contrôlableIl peut être configuré comme vous le souhaitez et est beaucoup plus flexible qu'un outil standard.

Est-il facile pour Node.js d'utiliser des proxies ?

Préparez l'environnement du nœud en installant unhttp-proxyLe module se met en place. Regardez ce code :

const http = require('http') ;
const httpProxy = require('http-proxy') ;

const proxy = httpProxy.createProxyServer() ;
http.createServer((req, res) => {
    proxy.web(req, res, { target : 'http://目标网站:端口' }) ; }).
}).listen(votre numéro de port) ;

enregistrer sous (un fichier)proxy.jsLigne de commandenode proxy.jsDémarrez, un service proxy de base est en cours d'exécution. Mais il ne s'agit là que d'une version très simple, il faut en ajouter un peu plus pour obtenir un vrai service.

Mettre un gilet pare-balles sur un serveur proxy

Les proxys directement exposés au réseau public sont dangereux et doivent remplir trois fonctions :

Il est recommandé d'ajouter ce code d'authentification :

const allowedIPs = ['192.168.1.', '10.0.0.'] ;
if(!allowedIPs.some(ip => req.ip.match(ip))) {
    return res.status(403).send('Retournez d'où vous venez') ;
}

Comment choisir un proxy IP fiable ?

自己维护IP池太费劲，这里裂推荐ipipgodes services de l'agence. Ils ont trois trésors dans leur foyer :

1. IP dynamique dans plus de 200 villes du pays
2. Prise en charge des doubles protocoles HTTP/HTTPS
3. Rotation automatique des adresses IP sans duplication

La méthode d'accès est également simple, il suffit d'ajouter les informations d'authentification dans la configuration :

{
    target : 'http://目标网站',
    headers : {
        'Proxy-Authorisation' : 'Basic ' + Buffer.from('ipipgo account:password').toString('base64')
    }
}

Pièges courants du monde réel AQ

Q : Que puis-je faire pour remédier au décalage fréquent des serveurs proxy ?
A：Check if the quality of IP is not good, suggest to change theipipgoLes paquets IP exclusifs pour une amélioration immédiate de la stabilité

Q : Que dois-je faire si je suis confronté à un site web qui pratique le "back-crawling" ?
R : Trois bons conseils : 1. randomiser l'agent utilisateur 2. fixer des intervalles raisonnables entre les demandes 3. utiliser la méthode de l'agent utilisateur.ipipgoL'IP résidentielle dynamique pour un niveau de camouflage plus élevé

Q : Comment puis-je savoir si une procuration est en vigueur ?
R : Ajoutez une impression de journal au code, ou utilisez simplement la fonctioncurl -x adresse du proxy URL de destinationtest (machines, etc.)

Conseils pour la mise à niveau du jeu

Pour un service proxy plus professionnel, essayez ces configurations avancées :

• dépense ou fraiséquilibrage de la chargeÉvaluer la pression des demandes
• mettre en placeéchouer et réessayerMécanisme (n'oubliez pas de changer d'IP et de réessayer)
• une articulation (entre des éléments)ipipgoAPI pour le remplacement automatique des adresses IP

Enfin, bien que les serveurs proxy auto-construits soient flexibles, le maintien de la qualité de l'IP est une véritable plaie. Laissez le travail aux professionnels avecipipgoIl est à la fois simple et fiable, et les nouveaux utilisateurs bénéficient d'un crédit d'essai gratuit.