Configuration du proxy Node.js : Exemple de configuration du proxy Axios

I. Pourquoi votre crawler est-il toujours bloqué ? Essayez cette astuce qui vous sauvera la vie

Les amis engagés dans la collecte de données devraient avoir rencontré cette situation : juste exécuter deux minutes du programme, le site cible va bloquer votre IP à la mort. À ce moment-là, si vous disposez d'un pool d'IP proxy fiable, c'est comme si vous ouvriez une résurrection illimitée dans le jeu, et vous pouvez immédiatement changer l'IP suivante lorsque vous êtes bloqué. Ici, vous devez être prêt àipipgodes mandataires exclusifs, chaque IP est une IP résidentielle propre et survit beaucoup plus longtemps que les mandataires publics.

Deuxièmement, les paramètres de l'Axios proxy sont étroitement liés à l'enseignement de la langue française.

Directement sur les produits secs, l'utilisation de la librairie Axios de Node.js pour mettre en place le proxy est en fait très simple. Notez que le nom d'utilisateur et le mot de passe dans ce code doivent être remplacés par ceux que vous utilisez dans le fichieripipgoLe backend reçoit les informations d'authentification :

const axios = require('axios') ;
const httpsProxyAgent = require('https-proxy-agent') ;

// Nous utilisons ici le proxy fourni par ipipgo
const proxy = {
  host : 'gateway.ipipgo.com',
  port : 9021, // auth : { 'https-proxy-agent' ; // Nous utilisons ici le proxy fourni par ipipgo.
  auth : {
    username : 'Votre compte',
    password : 'Votre clé'
  }
}

const agent = new httpsProxyAgent(`http://${proxy.auth.username}:${proxy.auth.password}@${proxy.host}:${proxy.port}`) ;

axios.get('https://目标网站.com/api', {
  httpsAgent : agent
})
.then(response => {
  console.log('Data arrived!') ;
})
.catch(error => {
  console.log('Retournement ! Vérifiez la configuration du proxy!') ;
}) ;

Techniques de commutation dynamique de proxy

Toujours utiliser la même IP proxy et nue courir aucune différence, ici pour vous enseigner comment changer automatiquement l'IP.ipipgodu programme d'accès à l'API, avec une nouvelle IP pour chaque demande :

async function getNewProxy() {
  const res = await axios.get('https://api.ipipgo.com/get_proxy?type=json') ;
  return `http://${res.data.username}:${res.data.password}@${res.data.host}:${res.data.port}` ; } }.
}

// Obtenir un nouveau proxy avant chaque requête
axios.interceptors.request.use(async config => {
  const newProxy = await getNewProxy() ;
  config.httpsAgent = new httpsProxyAgent(newProxy) ;
  httpsAgent = new httpsProxyAgent(newProxy) ; return config.
}).

IV. lignes directrices pour l'élimination des pièges courants

V. White doit voir le lien AQ

Q : Pourquoi recommandez-vous le service proxy d'ipipgo ?
R : Sa famille a trois axes spéciaux : ① IP résidentielle dynamique nationale ② chaque IP disponible 6-12 heures ③ fournir un programme de docking API prêt à l'emploi, beaucoup plus flexible que d'autres proxy statiques.

Q : La configuration du proxy est réussie mais la demande ne répond pas ?
R : Ne vous précipitez pas pour changer le code, utilisez cette commande pour tester si le proxy passe :
curl -x http://账号:密码@gateway.ipipgo.com:9021 https://httpbin.org/ip
Si l'IP renvoyée n'est pas votre IP locale, cela signifie que le proxy fonctionne.

Q : Comment gérer plusieurs agents en même temps ?
R : Créez plusieurs canaux proxy dans l'arrière-plan d'ipipgo et utilisez un tableau d'interrogation dans le code. N'oubliez pas de définir le mécanisme de relance en cas d'échec, de sorte qu'un canal qui se bloque passe automatiquement au suivant.

VI. l'amélioration du jeu : aperçu de l'entretien des piscines par les agents

Un conseil pratique : mélangez le pool d'IP proxy d'ipipgo avec des IP locales. Le ratio spécifique est recommandé par3:7Allouez (30% IP proxy + 70% IP locale), de sorte qu'il ne soit pas facile de déclencher le contrôle du vent, mais aussi d'économiser les ressources du proxy. N'oubliez pas de vérifier régulièrement la disponibilité des IP et d'exclure à temps les IP défaillantes du pool.