Node.js Proxy-Konfiguration: Beispiel für die Einrichtung des Axios-Proxys

I. Warum ist Ihr Crawler immer blockiert? Versuchen Sie diesen lebensrettenden Trick

Freunde, die sich mit der Datenerfassung beschäftigen, sollten diese Situation schon einmal erlebt haben: Nach nur zwei Minuten Laufzeit des Programms wird die Zielseite Ihre IP zu Tode blockieren. Wenn Sie zu diesem Zeitpunkt einen zuverlässigen Proxy-IP-Pool zur Hand haben, ist es so, als ob Sie eine unbegrenzte Wiederauferstehung im Spiel haben, und Sie können sofort die nächste IP ändern, wenn Sie blockiert werden. Hier muss man sich auf Folgendes gefasst machenipipgoBei exklusiven Proxys ist jede IP eine saubere private IP und überlebt viel länger als öffentliche Proxys.

Zweitens, die Axios Proxy-Einstellungen Hand in Hand Lehre

Direkt auf dem Trockenen ist die Verwendung der Node.js Axios-Bibliothek zur Einrichtung des Proxys eigentlich sehr einfach. Beachten Sie, dass Sie den Benutzernamen und das Passwort in diesem Code durch die in deripipgoDas Backend erhält die Authentifizierungsinformationen:

const axios = require('axios');
const httpsProxyAgent = require('https-proxy-agent');

// Hier verwenden wir den von ipipgo bereitgestellten Proxy
const proxy = {
  host: 'gateway.ipipgo.com',
  port: 9021, // auth: { 'https-proxy-agent'; // Hier wird der von ipipgo bereitgestellte Proxy verwendet.
  auth: {
    benutzername: 'Ihr Konto',
    Passwort: 'Ihr Schlüssel'
  }
}

const agent = new httpsProxyAgent(`http://${proxy.auth.username}:${proxy.auth.password}@${proxy.host}:${proxy.port}`);

axios.get('https://目标网站.com/api', {
  httpsAgent: agent
})
.then(response => {
  console.log('Daten angekommen!') ;
})
.catch(error => {
  console.log('Rollover! Überprüfen Sie die Proxy-Konfiguration!') ;
});

Dynamische Proxy-Umschaltungstechniken

Verwenden Sie immer die gleiche Proxy-IP und nackt läuft keinen Unterschied, hier, um Ihnen beizubringen, wie man automatisch die IP-Adresse ändern.ipipgodes API-Zugangsprogramms, mit einer neuen IP für jede Anfrage:

async Funktion getNewProxy() {
  const res = await axios.get('https://api.ipipgo.com/get_proxy?type=json');
  return `http://${res.data.username}:${res.data.password}@${res.data.host}:${res.data.port}`; }
}

// Holen Sie sich vor jeder Anfrage einen neuen Proxy
axios.interceptors.request.use(async config => {
  const newProxy = await getNewProxy();
  config.httpsAgent = new httpsProxyAgent(newProxy);
  httpsAgent = new httpsProxyAgent(newProxy); return config.
}).

IV. Leitlinien für die Beseitigung der häufigsten Fallstricke

V. White muss QA-Link sehen

F: Warum empfehlen Sie den Proxy-Dienst von ipipgo?
A: Seine Familie hat drei Achsen besondere Top: ① nationale dynamische Wohn-IP ② jede IP verfügbar 6-12 Stunden ③ bieten fertige API Docking-Programm, viel flexibler als andere statische Proxy.

F: Die Proxy-Einstellung ist erfolgreich, aber die Anfrage wird nicht beantwortet?
A: Ändern Sie nicht gleich den Code, sondern testen Sie mit diesem Befehl, ob der Proxy durch ist:
curl -x http://账号:密码@gateway.ipipgo.com:9021 https://httpbin.org/ip
Wenn die zurückgegebene IP nicht Ihre lokale IP ist, bedeutet dies, dass der Proxy funktioniert.

F: Wie kann ich mehrere Agenten gleichzeitig verwalten?
A: Erstellen Sie mehrere Proxy-Kanäle im ipipgo-Hintergrund, und verwenden Sie ein Array für die Abfrage im Code. Denken Sie daran, einen Mechanismus zur Wiederholung von Fehlern einzurichten, so dass im Falle einer Blockade eines Kanals automatisch zum nächsten übergegangen wird.

VI. Aufwertung des Spiels: Einblicke in die Wartung des Agentenpools

Ein praktischer Tipp: Mischen Sie den Proxy-IP-Pool von ipipgo mit lokalen IPs. Das spezifische Verhältnis wird empfohlen von3:7Weisen Sie (30% Proxy-IP + 70% lokale IP) zu, so dass es nicht einfach ist, die Windkontrolle auszulösen, sondern auch Proxy-Ressourcen zu sparen. Denken Sie daran, die IP-Verfügbarkeit regelmäßig zu überprüfen und die ausgefallenen IPs rechtzeitig aus dem Pool zu entfernen.