Node.js Proxy: HTTP Middleware Aufbau Tutorials

Praktische Übungen mit Node.js zum Aufbau einer Proxy-Middleware

Alte Eisen sollte die Notwendigkeit für Proxy-IP-Szenarien begegnet sein, oder? Zum Beispiel, Crawling-Daten von der Website blockiert IP, oder um die Wirkung des Zugangs zu verschiedenen Regionen zu testen. Heute verwenden wir Node.js die ganze einfache HTTP-Proxy-Middleware, ohne diese komplexen Frameworks, direkt auf die native Modul zu engagieren!

Bereiten Sie zunächst ein neues Projekt vor und klopfen Sie es im Terminal ab.npm init -yErstellen Sie eine package.json. Und jetzt kommt der Clou: Das Kernmodul, das wir verwenden werden, ist dashttp-proxyDieses Programm ist einfacher zu bedienen als die Herstellung von Instant-Nudeln. Befehle zur Installation:

npm install http-proxy --save

Drei Codezeilen zum Starten eines Proxy-Dienstes

Erstellen Sie eine neue Datei proxy.js und codieren Sie diese:

const http = require('http');
const httpProxy = require('http-proxy');

const proxy = httpProxy.createProxyServer();
const server = http.createServer((req, res) => {
  proxy.web(req, res, {
    Ziel: 'http://your-backend-server.com',
    changeOrigin: true
  });
});

server.listen(3000, () => {
  console.log('Der Proxy-Dienst läuft auf Port 3000!) ;
});

Hier gibt es einen Fallstrick, auf den Sie achten sollten.changeOriginDieser Parameter muss auf "true" gesetzt werden, sonst erkennt die Ziel-Website Ihre Anfrage möglicherweise nicht. Das ist so, als würde man bei jemandem anklopfen, ohne anzuklopfen, und dann wird man ausgesperrt, oder?

Legen Sie dem Bevollmächtigten eine IP-Weste an.

Es ist an der Zeit, unsereipipgo-Proxy-Dienstoben, ändern Sie den Code wie folgt:

const proxy = httpProxy.createProxyServer({
  agent: new http.Agent({
    agent: new http.Agent({ keepAlive: true, proxy: '')
    proxy: 'http://username:password@gateway.ipipgo.com:8080'
  })
});

Hier Benutzername und Passwort auf der offiziellen Website von ipipgo zu gehen, um anzuwenden, ihre Proxy-IP-Pool ist sehr groß, Knoten im ganzen Land. Besonders geeignet für Szenen, die häufige IP-Switching, wie das Greifen Schuhe und Tickets oder etwas (manuell Hundekopf) erfordern.

Wie man mit dynamischen IP-Pools umgeht

Wenn Sie die IPs automatisch wechseln müssen, können Sie sie wie folgt ändern:

const ipPool = [
  'http://ip1.ipipgo.com:8080',
  'http://ip2.ipipgo.com:8080'.
  //... Weitere IPs
];

function getRandomIP() {
  return ipPool[Math.floor(Math.random() ipPool.length)]; }
}

// Verwenden Sie dies für Proxy-Anfragen
proxy.web(req, res, {
  target: 'http://your-backend-server.com',
  agent: new http.Agent({
    proxy: getRandomIP()
  })
});

Es wird empfohlen, die dynamische API von ipipgo zu verwenden, um IPs direkt abzurufen, da ihre IPs sehr anonym sind und es stabiler ist, sie zu verwenden. Ich habe schon eine Reihe von Proxys verwendet, und ipipgo hat die höchste Überlebensrate, und im Grunde stoße ich nicht auf tote IPs, die ich nicht verwenden kann.

Leitlinien zur Minenräumung bei gemeinsamen Problemen

Praktische Tipps und Tricks

1. denken Sie daran, eine Zeitüberschreitung einzustellen, damit das Programm nicht in der Warteschleife stirbt:

proxy.web(req, res, {
  target: 'http://your-backend-server.com',
  timeout: 5000 // 5 Sekunden, um die Verbindung zu unterbrechen
});

2. so geht man mit HTTPS-Seiten um:

proxy.on('error', (err, req, res) => {
  res.writeHead(500, {
    'Content-Type': 'text/plain'
  });
  res.end('Der Proxy ruckelt, überprüfen Sie ihn!) ;
});

3. zur Aufzeichnung von Protokollen können Sie eine Morgan-Middleware einhängen oder eine einfache Log-Middleware schreiben:

app.use((req, res, next) => {
  console.log(`${new Date().toISOString()} - ${req.method} ${req.url}`);
  next();
});

QA-Zeit

F: Was soll ich tun, wenn die Proxy-IP immer wieder ausfällt?
A: Es wird empfohlen, den dynamischen IP-Pool von ipipgo zu verwenden, dessen IP-Überlebensrate 98% oder mehr erreichen kann und der automatisch umschaltet, ohne sich um die

F: Wie gehen Sie mit Szenarien mit hoher Gleichzeitigkeit um?
A: Node.js selbst Event-Loop-Mechanismus eignet sich für IO-intensive, aber die Zahl der Gleichzeitigkeit zu kontrollieren, können Sie mit async Bibliothek parallelLimit arbeiten

F: Wie wähle ich einen Proxy-Dienstanbieter aus?
A: Konzentrieren Sie sich auf drei Aspekte: IP-Pool-Größe, Reaktionsgeschwindigkeit, Protokollunterstützung. Wie ipipgo unterstützen Socks5 und http duale Protokolle verwendet flexibler

Schließlich, um Crawler und andere Dinge zu tun, um mit den Regeln der Website entsprechen, nicht auf ihren Servern aufgehängt werden. Proxy IP sollte auch die Aufmerksamkeit auf das Grundgesetz zu zahlen, wir sind technische Austausch, nehmen Sie es nicht, um schlechte Dinge zu tun ah!