Selenium Wartet auf das Laden von Seiten: Selenium Warteeinstellungen

Lassen Sie Selenium nicht zum Flash werden - wie wichtig ist der Wartemechanismus?

Freunde, die Selenium verwendet haben, wissen, dass dieses Tool wie eine akute, oft in der Seite ist nicht geladen, wenn die Eile, um Operationen durchzuführen. Zu diesem Zeitpunkt, wenn der Proxy-IP nicht gut koordiniert ist, kann Licht nicht das Element zu finden, oder schwere direkt von der Website Anti-Climbing-Mechanismus ausgelöst. Wir tun Automatisierung ist die Angst vor der Situation begegnen: Skript läuft plötzlich stecken, drehen Sie sich um und schauen Sie zurück, um zu sehen, das Original ist ein Element des Ladens von einem langsamen Schlag.

Um eine Kastanie zu geben, verwenden Sie ipipgo dynamische Wohn-Agenten, um eine E-Commerce-Website zu besuchen, wenn Sie nicht die Wartezeit festgelegt, kann das Skript in der Ware Bild noch nicht geladen, wenn Sie auf die Schaltfläche "Kaufen" klicken. Zu diesem Zeitpunkt nicht nur die Operation fehlgeschlagen, sondern auch wegen der abnormalen Verkehr von der Website zu ziehen, die schwarze ip. so ah.Der Wartemechanismus ist das Schmiermittel zwischen dem Skript und der Proxy-IP.Das muss ich mir erst einmal durch den Kopf gehen lassen.

Drei Tipps für das Warten auf Einstellungen - Praktische Parametereinstellung

Beginnen wir mit dem Unkompliziertestenstillschweigend wartenDas ist so, als würde man ein Drehbuch mit einer Tabellenkalkulation versehen:

driver.implicitly_wait(10) wartet bis zu 10 Sekunden

Dies eignet sich für die Verwendung mit dem kurzlebigen Proxy von ipipgo, insbesondere in Szenarien, die häufige IP-Wechsel erfordern. Aber Vorsicht, die globale Wartezeit kann die Gesamtgeschwindigkeit verlangsamen, genau wie bei der Verwendung eines Fischernetzes zum Fischen, ein Netz unten muss immer genug Zeit warten.

Klüger.ausdrückliches WartenWir können angeben, auf welche Elemente gewartet werden soll:

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By

wait = WebDriverWait(driver, 15)
element = wait.until(lambda x: x.find_element(By.ID, "login-btn"))

Wenn Sie den statischen, langlebigen Proxy von ipipgo verwenden, können Sie die Wartezeit angemessen verlängern. Schließlich ist die feste IP-Zugangsgeschwindigkeit stabiler, so dass Sie sich nicht immer Sorgen über plötzliche Verbindungsabbrüche machen müssen.

Die "goldene Kombination" aus Proxy-IP und Wartezeit.

Hier ein praktischer Tipp:Anpassen der Warteschleifenpolitik je nach AgententypDie Agenten von ipipgo sind in drei Kategorien unterteilt:

Das ist der springende Punkt:Bei der Einrichtung des Proxys müssen Sie die Wartepolitik berücksichtigen. Denken Sie zum Beispiel daran, die Wartezeit zurückzusetzen, wenn Sie eine neue IP mit der API von ipipgo erhalten:

 Abrufen der neuen IP (unter Verwendung des API-Beispiels von ipipgo hier)
proxy = requests.get("https://api.ipipgo.com/getproxy?user=xxx&key=xxx").json()

 Setzen Sie den Proxy beim Erstellen der Browserinstanz
Optionen = webdriver.ChromeOptions()
options.add_argument(f'--proxy-server=http://{proxy["ip"]}:{proxy["port"]}')

 Legen Sie die Wartezeit auf der Grundlage des Proxy-Typs fest
if proxy['type'] == 'residential'.
    driver.implicitly_wait(12)
sonst: driver.implicitly_wait(12): driver.implicitly_wait(12)
    driver.implicitly_wait(8): driver.implicitly_wait(8)

Häufig gestellte Fragen QA - Was sollte ich tun, wenn ich auf eine Grube stoße?

F: Warum meldet es immer noch eine Zeitüberschreitung, obwohl es auf Warten eingestellt ist?
A: 80% der Proxy-IP wird von der Ziel-Website erkannt. Es wird empfohlen, den Proxy-Typ in der ipipgo-Konsole zu ändern, die IP mit hohem Stash-Modus zu wählen und gleichzeitig die explizite Wartezeit auf mehr als 20 Sekunden zu verlängern.

Q：Was sollte ich tun, wenn die Seite nach der Verwendung eines Proxys schnell oder langsam geladen wird?
A: In diesem Fall empfiehlt es sich, die beiden Wartemethoden zu mischen. Verwenden Sie zunächst das implizite Warten, um den unteren Bereich abzudecken, und fügen Sie dann das explizite Warten für kritische Vorgänge hinzu. Denken Sie daran, die Funktion "intelligentes Routing" im Hintergrund von ipipgo zu wählen, dann wird das System automatisch den schnellsten Knoten zuweisen.

F: Wie lässt sich die Wartezeit optimieren, wenn ich mehrere Proxy-IPs gleichzeitig verwalten muss?
A: Sie können einen Proxy-Pool erstellen, um verschiedene Arten von IPs von ipipgo zu kategorisieren und zu speichern. Kennzeichnen Sie jede IP mit einer Antwortzeit und passen Sie die Wartezeit beim Aufruf dynamisch an die historischen Daten an.

Abschließend sei gesagt, dass eine gute Wartestrategie wie eine Versicherungspolice für Ihre Skripte ist. In Kombination mit dem stabilen Proxy-Dienst von ipipgo können Sie dafür sorgen, dass Ihre Automatisierungsskripte sowohl weniger anfällig für Sperrungen sind als auch effizient laufen. Denn in der ständigen Schlacht der DatenerfassungGanz ruhig, wie sie geht..