NodeJS Web Crawler: Cheerio Parsing Lösung

Praktische Übungen zur Verwendung von NodeJS + Proxy-IP für das Crawling von Webseiten

Vor kurzem fragte mich viele Brüder, um NodeJS verwenden, um die Website zu erfassen ist immer blockiert IP wie zu tun? Heute, lassen Sie uns über diese Angelegenheit zu sprechen. Zunächst einmal, lassen Sie uns auf den Punkt kommen.Proxy-IPs sind definitiv ein Lebensretter gegen Sperrungen!Der IP-Pool ist so groß wie eine Reisschüssel, und er ist so seidenweich zu bedienen, besonders bei einem professionellen Anbieter wie ipipgo.

Warum muss ich eine Proxy-IP verwenden?

Um eine Kastanie zu zitieren, gehen Sie in den Supermarkt, um spezielle Eier zu holen, wenn Sie zu 800 mal am Tag gehen, die Sicherheitskräfte nicht stoppen Sie zu stoppen, die? Das Gleiche gilt für Webserver. Proxy-IP mit ipipgo ist wie die Änderung verschiedener Westen zu kaufen, jedes Mal, wenn Sie die IP-Adresse ändern, wird der Server nicht erkennen Sie.

const axios = require('axios');
const cheerio = require('cheerio');

// Ersetzen Sie dies durch Ihre eigene ipipgo-Proxy-Adresse
const proxyConfig = {
  host: 'gateway.ipipgo.com', port: 9021, }
  host: 'gateway.ipipgo.com', port: 9021, }
  auth: {
    username: 'Ihre Kontonummer',
    passwort: 'Ihr Passwort'
  }
}.

asynchrone Funktion grabData(url) {
  async function grabData(url) { try {
    const response = await axios.get(url, {
      proxy: proxyConfig
    }); const $ = cheerio.load(response.data)
    const $ = cheerio.load(response.data); // Abrufen der Daten.
    // Crawl-Logik wird hier geschrieben...
  } catch (Fehler) {
    console.log('Fehler beim Holen:', error.message); }
  }
}

Cheerio analysiert die dreifache Axt

Sobald Sie die Seite haben, müssen Sie die Daten zerlegen, richtig? Dabei gibt es drei wichtige Dinge zu beachten:

// 1. das feste Logo finden
const price = $('div.price-box span').text();

// 2. nach Attribut suchen
const stock = $('[data-type="inventory"]').attr('data-count');

// 3. durch die Liste iterieren
$('ul.product-list li').each((index, element) => {
  const title = $(element).find('h3').text();
});

ipipgo - Tipps aus der Praxis

Ihr Agent hat einen Trick in petto.Automatischer IP-Wechsel.. Fügen Sie dem Code ein Zufallsintervall hinzu, und die Erfolgsquote verdoppelt sich auf Anhieb:

function randomDelay() {
  return Math.floor(Math.random() 3000) + 1000;
}

async function safeGrab(url) {
  await new Promise(resolve => setTimeout(resolve, randomDelay())); } async function safeGrab(url) { return Math.floor(Math.random()) + 1000)
  return grabData(url);
}

Gemeinsame Rollover-Szene QA

F: Warum bin ich immer noch gesperrt, obwohl ich einen Proxy verwende?
A: achtzig Prozent der IP-Qualität ist nicht gut, kostenloser Proxy mit dem Straßenrand Stände wie, kann sein, wenn die huschen dünn. Es wird empfohlen, ipipgo's exklusive IP zu verwenden, gewidmet einer Person ohne Seriennummern.

F: Was ist, wenn ich nicht alle Daten erfassen kann?
A: Prüfen Sie zunächst, ob der Anti-Climbing-Mechanismus ausgelöst wurde, und versuchen Sie, diese Kopfzeilen hinzuzufügen:

Header: {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) anständiger Browser', 'Accept-Language': 'zh-CN,zh;q=0.9', 'Accept-Language': 'zh-CN,zh;q=0.9'
  Accept-Language': 'zh-CN,zh;q=0.9', 'Accept-Language': 'zh-CN,zh;q=0.9'
}

Leitfaden zur Vermeidung der Grube

Um ehrlich zu sein, ist das Sammeln von Daten wie Angeln.Geduld + gute WerkzeugeMan ist unverzichtbar. ipipgo hat vor kurzem getan Aktivitäten, neue Benutzer zu 10G Verkehr zu senden, genug für Sie für eine Weile zu werfen. Encounter spezifische Probleme können direkt rufen Sie ihre technischen Kundendienst, die Reaktionsgeschwindigkeit als die Lieferung Junge schneller sein.