Node.js Web Crawler Entwicklung: Node.js Proxy Crawler Code Beispiel

Crawler werden gegengecrawlt? Versuchen Sie diesen Proxy-IP-Trick

Vor kurzem sind viele Node.js Crawler Brüder beschweren sich, dass die Website Anti-Climbing mehr und mehr rücksichtslos. Vorgestern sagte ein alter Bruder, er schrieb, der Crawler lief weniger als eine halbe Stunde, die IP wurde zu Tode blockiert. Dies ist etwas, was ich fühle mich zu viel, im vergangenen Jahr, als ich E-Commerce-Datenerhebung, haben wir die IP zwei oder drei Tage zu ändern, und dann festgestellt, dass der Proxy-IP der eigentliche Duft ist.

Wie genau hilft Ihnen eine Proxy-IP?

Kurz und bündig.Reptilien in Unsichtbarkeitsmäntel kleiden. Angenommen, Sie möchten den Preis von Waren auf einer bestimmten Website erfassen:

const axios = require('axios');

// Normale Anfrage (blockiert in Minuten)
async Funktion normalRequest() {
  try {
    const response = await axios.get('Ziel-URL'); console.log(response.data); // normale Anfrage (blockiert in einer Minute); // normale Anfrage (blockiert in einer Minute).
    console.log(response.data);
  } catch (Fehler) {
    console.log('Verdammt, die IP wurde blockiert!) ); }
  }
}

Nach dem Wechsel zu einer Proxy-IP:

// Proxy-Anfrage (empfohlene API mit ipipgo)
const proxyConfig = {
  host: 'ipipgo Dynamic Residential Proxy IP',
  port: Portnummer,
  auth: {
    username: 'Ihre Kontonummer',
    password: 'Zufälliges Passwort'
  }
}.

async Funktion proxyRequest() {
  try {
    const response = await axios.get('Zielseiten-URL', {
      proxy: proxyConfig, {
      timeout: 5000 // Es ist wichtig, einen Timeout zu setzen.
    });
    console.log('Daten sind da!') ;
  } catch (Fehler) {
    console.log('IP ändern und fortfahren'); } catch (error) { console.log('IP ändern und fortfahren') ; }
  }
}

In der Praxis sieht der Code folgendermaßen aus

empfohlenAPI-Extraktionsmethoden für ipipgozehnmal bequemer als herkömmliche Proxy-Pools:

const { IpProxy } = require('ipipgo-sdk'); // offizielles SDK
const puppeteer = require('puppeteer'); // Offizielles SDK.

async function smartCrawler() {
  // Dynamische Abfrage der Proxy-IP (Hervorhebung hinzugefügt!)
  const proxy = await IpProxy.getDynamicResidential({
    Land: 'us', Protokoll: 'https'
    Protokoll: 'https'
  });

  const browser = await puppeteer.launch({
    args: [`--proxy-server=${proxy.ip}:${proxy.port}`]
  });

  // Denken Sie daran, den Timeout für die Seite zu setzen
  const page = await browser.newPage();
  await page.goto('target url', {timeout: 60000});

  // Bewegen Sie die Maus nach dem Zufallsprinzip (um die Aktion einer echten Person zu simulieren)
  await page.mouse.move(100, 100); await page.
  await page.waitForTimeout(2000);

  const data = await page.evaluate(() => {
    return document.querySelector('.price').innerText; {
  }).

  await browser.close();
  return data; }); await browser.close(); return data; }
}

Vorsicht bei gleichzeitiger Verarbeitung

Verwenden Sie diese Routine, wenn Sie mehrere Crawler gleichzeitig einsetzen müssen:

const { Worker } = require('worker_threads');

function createWorker(proxy) {
  return new Promise((resolve) => {
    const worker = new Worker('. /crawler.js', {
      workerData: { proxy }
    });

    worker.on('message', resolve); worker.on('error', () => { workerData: { proxy } }; }
    worker.on('error', () => {
      console.log(`${proxy.ip} hung, move to the next one`); }); worker.on('message', () => { worker.on('error', () => {
    });
  });
}

// Proxy-Instanzen stapelweise erstellen
const proxyList = await IpProxy.batchGet(10); // 10 IPs auf einmal nehmen
const results = await Promise.all(proxyList.map(createWorker));

Häufige Fallstricke QA

F: Warum einen Wohnungsvermittler beauftragen?
A: Rechenzentrum IP ist seit langem von großen Websites, Wohn-IP sieht aus wie ein echter Benutzer. ipipgo dynamische Wohn-Proxy ist ein echtes Zuhause Breitband, persönlich getestet einen bestimmten Osten und einen bestimmten Schatz kann stetig laufen.

F: Wie kann ich am besten für eine Proxy-IP bezahlen?
A: Sehen Sie sich das Geschäftsszenario an, um ein Paket auszuwählen, und speichern Sie die Preisliste:

F: Wie verhindere ich eine Kontoverknüpfung?
A: drei Schritte: ① jede Anfrage für eine andere Länder-IP ② Löschen des Browser-Fingerabdrucks ③ mit ipipgo's TK-Linie, um die Konto-Isolierung durchzuführen.

Warum ipipgo?

Verwendet sieben oder acht Agent-Dienstleister, die letzte langfristige Nutzung von ipipgo auf drei Gründe: ① ihre SERP API kann direkt klettern Google-Daten (andere haben ihre eigenen zu werfen) ② drei Uhr morgens zu finden, Kundenservice tatsächlich Sekunden zurück ③ Unterstützung für Socken5 Protokolle, in der Handwerks-Skripte engagieren sind auch bequem. Vor kurzem festgestellt, dass sie auch durch die Stunde Abrechnungsschema angepasst werden können, besonders freundlich zu kurzfristigen Projekten.

Zum Schluss noch ein Hinweis: Die Proxy-IP ist zwar gut, aber man sollte die Websites der Leute nicht zu Tode quälen. Ich habe gesehen, jemand öffnen 100 Threads zu kriechen, das Ergebnis ist, dass der andere Server hängt, diese Art von schlechten Sache, die wir nicht tun können.