ChromeDriver User-Agent-Einstellungen: Emulation eines Live-Browsers

Lassen Sie die Website nicht auf den ersten Blick erkennen, dass Sie ein Roboter sind

Jeder, der schon einmal einen Daten-Crawl durchgeführt hat, weiß, dass Websites heutzutage sehr raffiniert sind. Wenn Sie ChromeDriver ohne Verkleidung verwenden, werden die Leute auf Ihren Request-Header schauen, als wären sie nackt. Es ist, als ob Sie zu einer Maskenparty gehen und einen Pyjama tragen. Hier gibt es zwei wichtige Punkte zu beachten:User Agents (UA) sollten wie echte Menschen aussehen(math.) GattungDie IP-Adresse sollte wie die eines normalen Benutzers aussehen.

Benutzeragententarnung Dreifach-Axt

Beginnen wir damit, wie man die ganze UA-Sache in Gang bringt. Viele Tutorials zeigen, wie man online fertige UA-Listen findet, aber darüber muss man redendynamische Zufälligkeit. Als Kastanie können Sie diese Methode verwenden, um zufällig zu generieren:

from fake_useragent import UserAgent
ua = BenutzerAgent()
custom_ua = ua.random
options.add_argument(f'user-agent={custom_ua}')

Beachten Sie, dass Sie keine alte Browserversion verwenden dürfen. Die UA muss der Chrome-Version folgen, die in Bezug auf den Marktanteil zu den Top 5 gehört. Genauso wie heutzutage niemand mehr im Internet Schlaghosen trägt, ist die Verwendung der UA des IE6 gleichbedeutend damit, sich selbst zu enttarnen.

Proxy-IP ist die wahre Rüstung.

Das Ändern der UA ist gleichbedeutend mit dem Tragen einer Maske, aber die IP ist immer noch offen, wenn Sie sie nicht ändern. Wir empfehlen hier die Verwendung vonDynamischer Wohnsitz-Proxy für ipipgoDer IP-Pool ihres Heimatlandes ist groß genug, um für jede Sitzung neue IPs zu erhalten:

Der Code sollte bei der Konfiguration (z. B. in Python) folgendermaßen geschrieben werden:

von selenium import webdriver

proxy = "123.123.123.123:8888" Dies ist der von ipipgo bereitgestellte Proxy.
Optionen = webdriver.ChromeOptions()
options.add_argument(f'--proxy-server=http://{proxy}')

Praktischer Leitfaden zur Vermeidung der Grube

Ich habe zu viele Menschen in diese Gruben fallen sehen:

1. SSL-Zertifikatsfehler ➡️ Denken Sie daran, hinzuzufügenoptions.add_argument('--ignore-certificate-errors')
2. Browser-Fingerabdruck-Leck ➡️ Schalten Sie WebRTC aus:options.add_experimental_option("prefs", {"webrtc.ip_handling_policy" : "disable_non_proxied_udp"})
3. Plötzlicher IP-Ausfall ➡️ Verwenden Sie die automatische Umschaltfunktion von ipipgo, bauen Sie keine eigenen Räder

Frage-und-Antwort-Runde

F: Muss ich jedes Mal sowohl UA als auch Proxy ändern?
A: Es ist ein Muss! Es ist, als ob man eine Perücke trägt, wenn man sich umgezogen hat, man könnte ohne sie erkannt werden!

F: Wie wählen die Agenten von ipipgo ihre Pakete aus?
A: Neueinsteiger zahlen bei Dynamic Residential nach Volumen, während Veteranen mit einem direkten Monatsabonnement ein besseres Angebot erhalten. Kürzlich verschenkte Dynamic Residential 5G Traffic-Erfahrung für neue Abonnenten.

Q：Was sollte ich tun, wenn ich die Website-Eingabeaufforderung "Automatisierungstool erkannt" erhalte?
A: drei Schritte: 1. prüfen, ob die UA wirksam ist 2. ipipgo in ein anderes IP-Segment ändern 3. die Häufigkeit des Betriebs reduzieren

Schließlich sagen, eine kalte Wissen: einige Websites wird die Maus Bewegung Spur aufzeichnen, dieses Mal können Sie eine zufällige Bewegung Skript hinzuzufügen. Aber das gehört zum fortgeschrittenen Spiel, die nächste Gelegenheit, im Detail zu sprechen. Denken Sie daran.Im Mittelpunkt der Tarnung steht die Idee, maschinelles Verhalten als manuelles Verhalten erscheinen zu lassen.Die stabilen Proxys von ipipgo können Ihnen zumindest die Hälfte des Ärgers ersparen.