Node.js Anfrage-Bibliothek: Axios Proxy-Konfiguration

Praktische Übungen zur Verwendung von Axios zum Aufhängen von Proxys

Crawler sollten sich darüber im Klaren sein, dass viele Websites jetzt dem Anti-Climbing-Mechanismus hinzugefügt werden, der direkt mit der lokalen IP nur wenige Minuten lang schwarz ist. Zu diesem Zeitpunkt haben wir auf Proxy-IP zu verlassenDrehungsidentitätVor kurzem eine Reihe von Menschen fragte mich, wie man den Proxy in Axios in Node.js entsprechen, heute nehmen wir unsere eigenen!ipipgoService als Beispiel, um den Jungs eine Menge praktischer Anleitungen zu geben.

Vorkonfigurierte dreiteilige Suite

Vergewissern Sie sich zunächst, dass Sie alle drei auf Ihrem Computer haben:
1. eine Node.js-Umgebung (v14+ empfohlen)
2. installieren Sie die axios-Bibliothek (npm install axios)
3. ipipgo-Konto (für neue Benutzer)Frei 200(Test IP)

Basis-Agentenkonfiguration

Das Einbinden von Proxies in Axios ist eigentlich super einfach, sehen Sie sich diesen Code an:

const axios = require('axios');
const proxy = {
  host: 'proxy.ipipgo.com', //Proxy-Server-Adresse
  port: 8000, // Port zur Anzeige des Pakettyps
  auth: {
    Benutzername: 'Ihr Konto', //s
    passwort: 'Passwort'
  }
};

axios.get('Ziel-URL', { proxy })
  .then(response => console.log('Erfolg!'))
  .catch(error => console.log('Rolled over:', error));

zur Kenntnis nehmenGeben Sie nicht die falsche Anschlussnummer ein.Die Ports der verschiedenen Pakete von ipipgo sind nicht die gleichen, was im Backend des Benutzers zu finden ist. Es wird empfohlen, die Proxy-Konfiguration als separates Modul zu schreiben, um die Wartung später zu erleichtern.

Dynamisches Agentenpoolspiel

Single mit einer festen IP ist leicht zu blockieren, dieses Mal ist es notwendig, auf ipipgo's zu gehendynamischer Agentenpool. Verwenden Sie deren API, um die verfügbare IP in Echtzeit abzurufen:

Sie können im Code dynamisch umschalten, etwa so:

async Funktion getProxy(){
  const {data} = await axios.get('https://api.ipipgo.com/getip');
  return `http://${data.ip}:${data.port}`;
}

// Aktualisieren des Proxys vor jeder Anfrage
axios.interceptors.request.use(async config => {
  config.proxy = await getProxy();
  return config; }); { config.proxy = await getProxy(); }
});

Gemeinsame Handhabung von Überschlagsszenen

Einige häufige Fallstricke, denen Neulinge begegnen:

1. timeout der Verbindung

Prüfen Sie, ob die Proxy-IP nicht funktioniert, indem Sie ipipgo'sSchnittstelle zur Erkennung von ÜberlebendenPrüfen Sie zunächst den IP-Status

2. 407 Fehler zurückgeben

Falsches Konto-Passwort, besondere AufmerksamkeitBenutzer der Enterprise EditionUm IPs auf die Whitelist zu setzen

3. langsam wie ein Hund

Umschalten von ipipgo'sBGP-LeitungSie ist mehr als dreimal so schnell wie eine normale Leitung.

Praktische QA-Sitzung

F: Was sollte ich tun, wenn meine Proxy-IP nicht funktioniert?
A: Es wird empfohlen, ipipgo'sAutomatische PaketumschaltungWenn Sie dies verwenden möchten, konfigurieren Sie das Aktualisierungsintervall im Backend und fügen Sie einen Fail-Retry-Mechanismus in den Code ein.

F: Was ist, wenn ich einen hohen anonymen Proxy benötige?
A: ipipgo'sEnterprise-PaketBei der anonymen Authentifizierung wird kein X-Forwarded-For-Feld in der Kopfzeile der Anfrage angezeigt.

F: Was sollte ich tun, wenn ich gleichzeitig HTTPS-Anfragen bearbeiten muss?
A: In der Proxy-Konfiguration hinzufügenProtokoll: 'https'Beachten Sie, dass der entsprechende Port auf 443 geändert werden sollte.

Tipps zur Leistungsoptimierung

1. verwendenWiederverwendung des VerbindungspoolsVerkürzte Handshake-Zeit
2. einen angemessenen Timeout festlegen (empfohlen werden 5s für den Verbindungs-Timeout und 30s für den Antwort-Timeout)
3. in Verbindung mit ipipgo'sGeografische AuswahlFunktion, um den dem Zielserver am nächsten gelegenen Knoten auszuwählen

Vergessen Sie nicht, den ipipgo-Proxy zu Ihrem Code hinzuzufügen.Benutzer-AgentVerkleidung, kann die Erfolgsquote um mehr als 60% erhöht werden. Ihr Haus ist vor kurzem tun Aktivitäten, Bericht der Geheimcode [AXIOS666] gesammelt werden können3-Tage-Testversion für UnternehmenWenn Sie es brauchen, beeilen Sie sich.