Automatisierte Tests mit Selenium und dynamischen Wohnagenten

Wie können Sie Ihr Leben mit einer dynamischen Wohn-IP erneuern, wenn Crawler-Skripte blockiert sind?

Die Veteranen der automatisierten Tests wissen, dass das größte Kopfzerbrechen ist nicht der Code-Fehler, aber der Test-Skript plötzlich von der Ziel-Site blockiert IP. letzte Woche unser Team nur ein E-Commerce-Plattform-Test, drei aufeinander folgenden Login-Betrieb direkt nach dem Auslöser CAPTCHA begegnet - das ist typisch für die IP-Erkennung Mechanismus bei der Arbeit.

zu diesem ZeitpunktDynamische Proxy-IP für AnwohnerEs ist wie ein Erste-Hilfe-Kasten. Im Gegensatz zu Serverraum-IPs, die leicht zu erkennen sind, stammen Wohn-IPs aus echten Heimnetzwerken. Mit dem von ipipgo bereitgestellten dynamischen Wohn-Proxy wird beispielsweise bei jeder Anfrage automatisch die Heim-IP-Adresse in eine andere Region umgeschaltet, so dass die Website fälschlicherweise annehmen kann, dass es sich um einen echten Nutzer handelt, der mit einem anderen Gerät arbeitet.

Selenium lernt in drei Zeilen Code, sein Gesicht zu verändern

Die Konfiguration von Proxys in ChromeOptions ist tatsächlich einfacher als Sie denken. Gehen Sie zunächst zum ipipgo-Backend, um die API-Schnittstelle zu erhalten. Der dynamische Wohn-Proxy unterstützt das gesamte HTTP/HTTPS/SOCKS5-Protokoll, hier am Beispiel von HTTP:

von selenium import webdriver

proxy = "http://username:password@gateway.ipipgo.com:port"
Optionen = webdriver.ChromeOptions()
options.add_argument(f'--proxy-server={proxy}')

Treiber = webdriver.Chrome(Optionen=Optionen)

Beachten Sie, dass Benutzername und Passwort hier keine Kontopasswörter sind, sondern dynamische Authentifizierungsschlüssel, die von ipipgo bereitgestellt werden. Sie haben eineIntelligente Routing-FunktionEs kann automatisch den nächstgelegenen Wohnknoten entsprechend dem Standort des Ziel-Webservers auswählen, und die gemessene Latenzzeit kann um mehr als 40% reduziert werden.

Wesentliche IP-Rotationsstrategien für Testingenieure

Eine einzelne IP kann nicht mehr zu Tode versteckt werden, und es werden zwei rotierende Methoden empfohlen:

In der SDK-Dokumentation für ipipgo finden Sie dieSession Holding APIDiese Funktion eignet sich besonders für Testszenarien, bei denen Sie eingeloggt bleiben müssen. Wenn Sie beispielsweise den Einkaufswagenprozess testen, können Sie dieselbe IP 15 Minuten lang beibehalten, ohne sie zu ändern, und sie dann automatisch wechseln, wenn sie das Zeitlimit überschreitet.

Fünf praktische Tipps zur Vermeidung von Backcrawl

1. Die Tarnung der Fingerabdrücke muss vollständig sein.Zusätzlich zur Änderung der IP sollten Sie auch den User-Agent und den Browser-Fingerprint ändern.
2. Der Rhythmus der Operation sollte anthropomorph seinEinfügen von zufälligen Intervallen von 0,5-3 Sekunden zwischen Klickereignissen
3. Der Verkehr geht zum heimischen Breitband: Bevorzugen Sie private Proxys mit ipipgo, vermeiden Sie IPs von Rechenzentren!
4. Fehlen eines Mechanismus zur Kernschmelze: Automatischer Ruhezustand für 10 Minuten nach 3 aufeinanderfolgenden fehlgeschlagenen Anfragen
5. Der Standort sollte genau seinWenn Sie die regional begrenzte Funktion testen, verwenden Sie das IP-Lokalisierungstool von ipipgo, um einen bestimmten Stadtknoten auszuwählen.

Fakten zum Laufband: 3 häufige Fehler, die Neulinge machen

Fall 1:Xiao Wang stellte die IP-Adresse so ein, dass sie sich jede Minute änderte, vergaß aber, den Browser-Cache zu löschen, was dazu führte, dass ein Cookie die wahre Identität preisgab
Lösung:Fügen Sie es zur Initialisierung des Webdrivers hinzu.--inkognitoStarten des spurlosen Modus

Fall 2:Ein plötzlicher IP-Wechsel beim Testen der Zahlungsschnittstelle löste einen Alarm im Risikokontrollsystem aus.
Lösung:Mit ipipgo'sFeste SitzungsdauerFunktion, um sicherzustellen, dass die IP während kritischer Vorgänge unverändert bleibt

Fall 3:Das gleichzeitige Starten von 10 Test-Threads führt zu einer Überlastung des Proxy-Servers
Lösung:Öffnen Sie in der ipipgo-KonsoleIntelligente GleichzeitigkeitskontrolleGleicht automatisch den Anfragedruck auf jedem Knoten aus

QA: Praktische Fragen, die Sie stellen könnten

F: Was sollte ich tun, wenn der Test nach der Verwendung eines dynamischen Proxys langsamer wird?
A: Überprüfen Sie drei Punkte: 1. ob die Protokoll-Kompression zu öffnen 2. ob die inländischen Knoten zu missbrauchen 3. in ipipgo Hintergrund, um die TCP-Beschleunigung zu öffnen

F: Wie gehe ich mit Zertifikatswarnungen für HTTPS-Sites um?
A: Fügen Sie den Code einoptions.add_argument('--ignore-certificate-errors')Vergewissern Sie sich auch, dass der Agent-Anbieter einen aktuellen Zertifikatspeicher hat, wie z.B. ipipgo, der die CA-Zertifikate wöchentlich aktualisiert!

F: Wie kann ich schnell wechseln, wenn ich verschiedene regionale Dienste testen muss?
A: Fügen Sie im API-Anforderungsparameter von ipipgo&country=US&city=NYDiese Geopositionierungsparameter werden bis auf die Ebene einer Stadt genau gemessen

Letztendlich ist die Konfrontation mit automatisierten Tests im Wesentlichen ein Spiel aus Simulation und Identifikation. Verwenden Sie einen guten dynamischen Wohn-Proxy als "Tarnkappe" mit einer vernünftigen Richtlinienkonfiguration, um das Testskript wirklich unsichtbar zu machen. Wenn Sie das nächste Mal auf eine CAPTCHA-Abfrage stoßen, sollten Sie es nicht eilig haben, den Code zu ändern, sondern die echte IP-Adresse des Wohnsitzes ändern, um es zu versuchen - denn in den Augen des Website-Risikokontrollsystems ist der echte Heimnetzwerkverkehr der beste Pass.