Dynamische Rendering-Konfrontation: Optimierung der automatisierten Abläufe von Selenium

I. Was ist falsch an dem Katz-und-Maus-Spiel des dynamischen Renderings?

Heutzutage haben viele Websites auf die harte Tour gelernt und sind speziell gegen Automatisierungstools geschützt. Sie werden dieErkennung des SeitenladeverhaltensundAnalyse von MausspurenDiese Tricks, um die Benutzer, die Selenium verwenden, um in der Automatisierung engagieren herausziehen. Vor zwei Tagen, ein Freund, der E-Commerce tut, erzählte mir, dass sie Skripte verwenden, um Waren zu greifen, das Ergebnis ist, dass nur zwei Tage nach dem Lauf des Kontos gesperrt wurde, wütend direkt auf die Füße.

Dann ist es an der Zeit, eine Proxy-IP als Tarnung zu verwenden. Das ist so, als würde man sagen, dass man nicht jeden Tag die gleiche Maske tragen kann, wenn man auf eine Kostümparty geht, oder?Dynamische private IP für ipipgoEs ist wie ein Schauspieler der Sichuan-Oper, der bei jedem Besuch sein Gesicht wechselt und ein neues Gesicht aufsetzt. In Kombination mit dem automatisierten Betrieb von Selenium kann die Website so aussehen, als ob sie jedes Mal von einer anderen Person bedient wird, und die Wahrscheinlichkeit einer Blockierung wird direkt halbiert.

Zweitens: Wo sind die sieben Zentimeter Selenabrieb?

Viele Neulinge neigen dazu, in diese Schlaglöcher zu fallen:

• Browser-Fingerprinting ist zu sauber (wer hat bei klarem Verstand keine Plug-ins)
• Die IP-Adresse bleibt jahrelang gleich (das ist nicht anders, als wenn man über ein Megaphon "Ich bin ein Roboter" schreit).
• Die Ladegeschwindigkeit der Seite ist menschenfeindlich (wer würde sich bei klarem Verstand die ganze Seite in 0,1 Sekunden ansehen)

Nehmen Sie die Ladegeschwindigkeit, denken Sie daran, etwas für die Seite zu lassenEntlüftung. Verwenden Sie nicht das starre time.sleep(3), sondern ersetzen Sie es durch WebDriverWait mit expected_conditions. Das ist so, als würden Sie darauf warten, dass Ihre Freundin sich schminkt - Sie wissen, dass sie früher oder später herauskommt, aber wie lange, hängt von der tatsächlichen Situation ab.

Drittens, die korrekte Öffnungshaltung des Proxy-IP

Hier ist eine Lektion in Tränen: ein Unternehmen mit einem kostenlosen Proxy zu tun Crawler, die Ergebnisse von 10 IP 8 sind auf der schwarzen Liste regelmäßig. Später geändertExklusiver IP-Pool für ipipgoDie Erfolgsquote schießt direkt von 301 TP3T auf 851 TP3T in die Höhe. Bei der Konfiguration des Proxys ist besondere Vorsicht geboten:

ChromeOptions richtig geschrieben:

Optionen = webdriver.ChromeOptions()
options.add_argument('--proxy-server=http://user:pass@ipipgo-proxy:port')

Schreiben Sie Kennwörter für Konten niemals explizit in den Code und verstecken Sie sie mit Umgebungsvariablen. Wenn ein Hacker sie ausspäht, ist das so, als würde man den Hausschlüssel ins Schloss stecken.

IV. Selenium mehr wie das Große Lebendige machen

Wenn diese wenigen Details richtig gemacht werden, kann die Entdeckungsrate um weitere 20 % sinken:

Vergessen Sie nicht, der Maus etwas zu geben.menschliches VersagenGehen Sie nicht immer in einer geraden Linie. Wenn du eine Erdnuss mit Stäbchen aufnimmst, musst du sie immer zweimal schütteln, um sie aufzuheben.

V. Praktisches QA Erste-Hilfe-Set

Q：Was sollte ich tun, wenn ich immer die Meldung "Automatisierungswerkzeug erkannt" erhalte?
A: Überprüfen Sie zuerst die folgenden drei Punkte: 1. ob der Fingerabdruck des Browsers offengelegt ist 2. ob die IP markiert ist 3. ob das Betriebsintervall zu regelmäßig ist. Es wird empfohlen, ipipgo'sTiefes Anonymitätspaketkommt mit Browser-Umgebungstarnung.

F: Offensichtlich geänderte IP oder immer noch gesperrt?
A: Es könnte sich um ein Cookie-Leck handeln. Denken Sie daran, Ihren Cache jedes Mal zu leeren, wenn Sie Ihre IP ändern, oder gehen Sie direkt in den No-Trace-Modus. Genauso wie Sie Ihre Kleidung für verschiedene Anlässe wechseln, können Sie nicht im Pyjama zu einer Dinnerparty gehen.

F: Wie oft ist es angebracht, die IP von ipipgo zu ändern?
A: Das hängt vom Geschäftsszenario ab: Es wird empfohlen, die Robocall-Klasse bei jedem Vorgang zu ändern, die Datenerfassung kann einmal in 5-10 Minuten geändert werden. Ihr Hintergrund kann die automatische Schalthäufigkeit einstellen, viel besorgniserregender als der manuelle Betrieb.

Engage in der Automatisierung ist wie das Versteckspiel, nicht nur gut zu verstecken, sondern auch anpassungsfähig zu sein. Verwenden Sie Selenium + ipipgo dieses Paar von goldenen Partnern, eine Menge von Websites mit Anti-Climbing-Maßnahmen wie ein Papiertiger. Denken Sie daran, nicht billig zu sein mit schlechter Qualität Proxy, Geld zu sparen ist nicht genug, um ein neues Konto zu kaufen, sagen Sie, ist dies nicht richtig?