Puppeteer Web Bildschirmfoto: Puppeteer Agent Bildschirmfoto Programm

Erstens, Puppeteer-Screenshot für das, was einen Proxy zu bauen?

Kürzlich fragten mich einige meiner Freunde, die Datenerfassung betreiben, was zu tun sei, wenn die Ziel-Website immer die IP des Screenshots mit Puppeteer blockiert. Diese Sache ist wie das Essen von Hot Pot ist scharf in der Kehle, müssen Sie den richtigen Weg finden, um die scharfe Methode zu lösen. Wenn Sie zum Beispiel ständig dieselbe IP-Adresse verwenden, um Screenshots zu machen, wird die Website Ihnen sofort eine"Verdächtige Besuche"Die Etiketten, direktes Verbot, egal was.

Zu diesem Zeitpunkt entspricht die Proxy-IP derUnsichtbarkeitsmantelWenn Sie jedes Mal, wenn Sie einen Screenshot machen, Ihre Kleidung wechseln, wird die Website nicht erkennen, wer Sie sind. Wie unsere häufig verwendeten ipipgo dynamischen Wohn-Agent, kann jede Anfrage automatisch wechseln IP-Adresse, als der Supermarkt Kasse ändern ist auch scharf.

Zweitens, die eigentliche Operation: Puppenspieler mit Unsichtbarkeitsmantel

Zuallererst müssen wir verstehen, wie man die Proxy-IP in Puppeteer einfügt. Hier ist ein Schlüsselparameter--proxy-serverEs ist, als würde man einem Browser eine Maske aufsetzen:

const puppeteer = require('puppeteer');

async Funktion screenshotWithProxy(url) {
  const browser = await puppeteer.launch({
    args: [
      '--proxy-server=http://用户名:密码@ipipgo proxy server address:port'
    ]
  });

  const page = await browser.newPage();
  await page.goto(url); await page.screenshot({ url)
  await page.screenshot({pfad: 'beispiel.png'}); await browser.close(); await page.screenshot({pfad: 'beispiel.png'})
  await browser.close(); }
}

Beachten Sie, dass es hier einen Fallstrick gibt: Viele Anfänger kopieren direkt den Online-Code, was zur Folge hat, dass die verpasstenAuthentifizierungDieser Schritt. Der Proxy-Dienst von ipipgo erfordert, dass das Passwort des Kontos in die Proxy-Adresse eingebettet wird, und zwar in einem Format, das dem Ausfüllen einer Adresse für einen Kurierdienst ähnelt, die auf die Türnummer genau sein muss.

Drittens: Die Tür zur Proxy-IP-Auswahl

Es gibt verschiedene Arten von Mitteln auf dem Markt, die wir in einer Tabelle vergleichen wollen:

要是做全天候截图任务，裂推荐ipipgo的住宅代理。他们家的IP池子大得像游泳池，每次请求都能分配新IP，根本不怕被封。

IV. Leitfaden zur Vermeidung von Überschlägen: 5 häufige Überschlagstellen

1. was ist, wenn der Screenshot immer fehlschlägt?
Prüfen Sie zunächst, ob die Proxy-Adresse falsch ist, insbesondere der Doppelpunkt, der Schrägstrich und diese Symbole. Es wird empfohlen, den von ipipgo zur Verfügung gestellten Beispielcode direkt zu kopieren, dann wird er nicht falsch sein.

2) Was soll ich tun, wenn die Seite nicht vollständig geladen ist?
Fügen Sie z. B. nach page.goto() einen waitUntil-Parameter hinzu:
await page.goto(url, {waitUntil: 'networkidle2'});
Das ist so, als würden Sie warten, bis die Seite vollständig geladen ist, bevor Sie einen Screenshot machen.

3) Was passiert, wenn ein Proxy plötzlich ausfällt?
Es könnte sein, dass die IP von der Ziel-Website gezogen wurde. Dies ist der richtige Zeitpunkt, um die automatische Rotationsfunktion von ipipgo einzuschalten, so wie ein Auto, das alle paar Minuten den Gang wechselt, um automatisch zu einer neuen IP zu wechseln.

V. QA Erste-Hilfe-Kasten

F: Ist es in Ordnung, einen kostenlosen Proxy zu verwenden?
A: Niemals! Freie Agenten sind wie Toiletten in öffentlichen Toiletten, jeder hat sie benutzt. Bevor ein Kumpel sich Ärger mit Gratis-Agenten erspart, ist das Ergebnis des Screenshots voll mit Glücksspiel-Anzeigen, die die Seite direkt an ihn blockieren.

F: Wie werden die ipipgo-Agenten abgerechnet?
A: Sie haben zwei Arten von Paketen nach dem Fluss und der Anzahl der IP. Wenn Sie Screenshots wie die Notwendigkeit, IP häufig ändern zu tun, ist es empfehlenswert, die Anzahl der IP-Pakete zu wählen, wie ein Buffet, zufällig ändern, ohne Schmerzen.

F: Wie kann ich Puppeteer-Funktionen ausblenden, wenn ich Bildschirmfotos mache?
A: Fügen Sie diese Parameter beim Starten hinzu:
args: ['--disable-blink-features=AutomationControlled']
In Kombination mit dem Proxy von ipipgo tarnt er sich im Grunde als normaler Browser.

Abschließend möchte ich sagen, dass die Erstellung automatischer Screenshots etwa einestabiler CharakterDas erste, was Sie tun müssen, ist die Wahl des richtigen Proxy-Dienstleister. Wählen Sie den richtigen Proxy-Service-Provider wird die Hälfte erfolgreich sein, wie ipipgo kann API Echtzeit-Extraktion des Proxy, mit der Verwendung von Fahren ein automatisches Getriebe Auto wie, sparen Sie Herz und Mühe. Wenn Sie etwas nicht verstehen, gehen Sie direkt auf ihre offizielle Website, um den Kundendienst zu finden, ist die Geschwindigkeit der Antwort schneller als der Lieferjunge, um Lebensmittel zu liefern.