Node Web Crawler: Puppeteer in Aktion

Warum werden die Crawler von Puppeteer immer blockiert?

Wenn viele Brüder Puppeteer verwenden, um Daten zu erfassen, stoßen sie oft auf das403 Verweigerung des ZugangsoderCAPTCHA-Bombardierung. Im vergangenen Monat half ich einem Kunden, um den Preis des E-Commerce zu fangen, nur eine halbe Stunde laufen IP gezogen wurde. Später wurde festgestellt, dass es die Ziel-Website, die den Crawler durch drei Merkmale identifiziert war: Anfragefrequenz, Gerät Fingerabdruck, und die schädlichste von allen, dieWiederholte Besuche von festen IPs.

Der richtige Weg zur Eröffnung einer Proxy-IP

Hier ein Tipp für die Jungs: Verwenden Sie dieRotation des Proxy-Pools für Privatpersonen IP. Zum Beispiel mit ipipgo dynamische Wohn-IP, schaltet jeder Besuch automatisch die Ausfahrt Adresse. Der eigentliche Test einer E-Commerce-Plattform für 3 Tage in Folge, um den Wind Kontrolle nicht auslösen zu fangen, ist der Schlüssel-Code lang wie diese:

const puppeteer = require('puppeteer');
const ipipgo = {
  host: 'gateway.ipipgo.net',
  
  auth: 'username:password' // Denken Sie daran, Ihren eigenen Schlüssel zu verwenden
};

(async () => {
  const browser = await puppeteer.launch({
    args: [`--proxy-server=http://${ipipgo.host}:${ipipgo.port}`]
  });
  //... Nachfolgende Operationen
})();

Vermeidung des geschmacklosen Vorgehens bei der Erkennung von Fingerabdrücken

Es reicht nicht aus, die IPs zu ändern, man muss auch lernenSich als echte Person ausgeben. Hier ist eine praktische Kombination von Fähigkeiten, die Sie mit anderen teilen können:

Schlagen Sie vor, zufällige Wartezeiten in den Code einzufügen, damit die Seite nicht wie ein Roboter in Sekundenschnelle geöffnet wird:

Funktion humanDelay() {
  return Math.random() 2000 + 1000; // 1-3 Sekunden zufällige Wartezeit
}

await page.waitForTimeout(humanDelay());

QA Time: Fallstricke, auf die Sie gestoßen sein könnten

F: Was sollte ich tun, wenn meine Proxy-IP häufig ausfällt?
A: Vorliebe für ipipgo'sLangfristige statische IP-Adresse für PrivatanwenderIhre Leitungen unterstützen lange Verbindungen, und ihre gemessene Stabilität ist 40% höher als die von gewöhnlichen dynamischen IPs.

F: Wie kann ich feststellen, ob eine IP ausgesetzt ist?
A: Fügen Sie einen Erkennungslink in den Code ein, besuchen Sie https://httpbin.org/ip, wenn die zurückgegebene IP nicht mit der erwarteten übereinstimmt, ändern Sie sofort den Proxy

F: Was ist, wenn ich eine hohe Gleichzeitigkeit benötige?
A: Verwenden Sie ipipgo'sMulti-Threading-PaketAchten Sie bei der Clusterbereitstellung darauf, dass die Anzahl der Anfragen pro Sekunde den Schwellenwert der Zielsite nicht übersteigt, um den Anforderungen gerecht zu werden.

Tipps für die Auftragsvergabe: Man sieht, was man glaubt

Es wird empfohlen, zu den Startparametern hinzuzufügenVisuelles Debugging im Headless-Modussehen Sie sich das Verhalten des Crawlers selbst an:

const browser = await puppeteer.launch({
  headless: false, //den aktuell laufenden Bildschirm sehen
  slowMo: 50, //verlangsamt den Vorgang
  args: [`--proxy-server=http://${ipipgo.host}:${ipipgo.port}`]
});

Abschließend möchten wir Sie daran erinnern, dass Sie den Vermittlungsdienst wählen sollten, um dieipipgo unterstützt die automatische Umschaltung und den Mechanismus zur Wiederholung von FehlernDer Dienstanbieter. Das letzte Mal, als ich die automatische Failover-Umschaltung genutzt habe, ist die Crawl-Erfolgsrate direkt von 67% auf 92% gestiegen, was für ein Duft!