Puppeteer vs Selenium: Leitfaden zur Auswahl eines Automatisierungs-Frameworks

Was ist eigentlich der Unterschied zwischen Puppeteer und Selenium?

Die alten Eisen der Automatisierungstests müssen von diesen beiden Werkzeugen gehört haben, aber viele Menschen können nicht zwischen ihrem Eingangstor unterscheiden. Einfach ausgedrückt, ist Puppeteer wie ein professioneller Scharfschütze, spezialisiert auf Chrome, während Selenium ist mehr wie ein Schweizer Taschenmesser, was Browser geworfen werden kann. Zum Beispiel, Sie wollen Batch-Sammlung von E-Commerce-Preise, mit Puppeteer schneller; wenn Sie mit verschiedenen Browsern kompatibel sein müssen, um zu testen, ist es nicht Selenium.

Wie wirken sich Proxy-IPs in diesen beiden Tools aus?

Do Datenerhebung ist die größte Kopfschmerzen ist die IP blockiert ist, müssen Sie dieses Mal auf Proxy-IP, um ihr Leben zu erneuern verlassen. In Puppeteer zu hängen Proxy, sieht der Code wie ein Dieb erfrischend:

const puppeteer = require('puppeteer');
async function run() {
  const browser = await puppeteer.launch({
    args: ['--proxy-server=http://user:pass@ipipgo-proxy.com:8080']
  });
  // Danach normaler Betrieb...
}

Die Proxy-Konfiguration von Selenium ist etwas ausführlicher und muss mit Options-Objekten gehandhabt werden:

von selenium import webdriver
proxy = "ipipgo-proxy.com:8080"
Optionen = webdriver.ChromeOptions()
options.add_argument(f'--proxy-server={proxy}')
Treiber = webdriver.Chrome(Optionen=Optionen)

Legen Sie den Schwerpunkt fest:Unabhängig davon, welchen Rahmen Sie nutzen, sollten Sie sich für einen zuverlässigen Vermittlungsdienst entscheiden. Wie ipipgo home dynamischen Wohn-IP, kommt mit automatischen IP-Ersatz-Funktion, kann effektiv zu vermeiden Anti-Climbing-Mechanismus.

Wie kann man am besten zwischen diesen beiden Rahmen wählen?

Es ist anschaulicher, den Jungs die ganze Vergleichstabelle zu zeigen:

Wenn Sie es eilig haben und mit komplexen Webseiten umgehen müssen, können Sie mit Puppeteer nichts falsch machen. Aber wenn Ihr Vater die Ergebnisse von Firefox sehen will, dann sollten Sie Selenium verwenden.

Häufig gestellte Fragen QA

F: Warum ist sie immer noch blockiert, auch wenn ich den Proxy abgehängt habe?
A: Meistens Agent Qualität ist nicht gut, viele freie Agenten auf dem Markt sind zehntausend Menschen fahren. Empfohlen, ipipgo exklusiven IP-Pool zu verwenden, jede Sitzung mit einem neuen IP, Pro-Messung kann einen Schatz Anti-Climbing tragen.

F: Was ist, wenn ich mehrere Browser gleichzeitig verwenden muss?
A: Sie müssen an dieser Stelle einen Proxy-IP-Pool verwenden, der jeder Browserinstanz eine andere IP zuweist. ipipgos API unterstützt das Abrufen von IPs in großen Mengen, also fügen Sie es einfach in die Schleife ein und es funktioniert:

ip_list = get_ipipgo_ips(count=5) nimmt jeweils 5 neue IPs auf einmal
for ip in ip_list:
     Beispiel für das Starten eines Browsers mit einem Proxy

F: Was sollte ich tun, wenn ich auf ein CAPTCHA stoße?
A: Ein guter Agent kann die Wahrscheinlichkeit der Auslösung des CAPTCHA zu reduzieren, aber wirklich begegnet oder haben, um die Codierung Plattform abholen. Es wird empfohlen, einen Fehler Wiederholung Mechanismus in den Code hinzufügen, die Erkennung der CAPTCHA wird automatisch ändern ipipgo neue IP zu wiederholen.

Sagen Sie etwas, das von Herzen kommt.

Das Schlimmste an der Automatisierung sind nicht die Fehler im Code, sondern die Erpressung durch die Ziel-Website. Ich habe sieben oder acht Proxy-Dienste verwendet, und schließlich habe ich ipipgo für eine lange Zeit nur um der Stabilität willen verwendet. Er hat eine "IP-Checkup"-Funktion ist recht interessant, kann automatisch erkennen, ob der Proxy ausgesetzt ist, was besonders nützlich für Brüder, die Skripte für eine lange Zeit laufen müssen.

Schließlich möchte ich daran erinnern, Neulinge: Seien Sie nicht faul in Proxy-Konfiguration! Ich habe Leute gesehen, weil der Proxy-Einstellungen nicht richtig sind, schwer zu Selenium in das "Rennen der Gesicht ium", läuft einen halben Tag nur zu finden, dass die IP nicht wirksam werden. Es wird empfohlen, die Proxy-Einstellungen in derwhatismyip.comDies ist die Art von Website, auf der Sie testen können, ob der Proxy funktioniert, bevor Sie offiziell mit ihm herumspielen.