Web Crawling mit Selenium: Tutorials zur Browser-Automatisierung

Teach you to use Selenium zu fangen Web-Seiten, Proxy-IP so spielen, um stabil

Vor kurzem hat ein Bruder immer fragte mich, mit Selenium zu engagieren in Daten immer blockiert werden IP, wie man mit umgehen? Heute werden wir über diese Angelegenheit zu nörgeln. Zunächst einmal, seien wir ehrlich, jetzt die Website ist sehr klug, nehmen Sie eine lokale IP immer wieder Pinsel, nicht blockieren Sie blockieren, die? Dieses Mal müssen wir unseren Retter einladen - Proxy-IP.

Warum muss ich eine Proxy-IP verwenden?

Wenn Sie zum Beispiel jeden Tag zum gleichen Kiosk gehen, um Zigaretten zu kaufen, muss sich der Chef am dritten Tag an Sie erinnern, oder? Proxy-IP ist wie jeden Tag andere Kleidung zu kaufen Zigaretten, der Chef einfach nicht erkennen. Vor allem mit Selenium diese Art von realen Browser-Betrieb, mit dynamischen IP, die Website ist im Grunde keine Möglichkeit.

Ich muss Ihnen das hier vorstellen.ipipgoDer IP-Pool ist so groß wie der Pazifische Ozean, mit mehr als 300 Regionen auf der ganzen Welt, aus denen man wählen kann. Das Wichtigste istDedizierte IP nicht dupliziertIch habe es mit besonderer Gelassenheit eingesetzt und mein eigenes Projekt 72 Stunden lang ohne Probleme durchlaufen lassen.

Selenium-Konfigurationsproxy in drei Schritten

von selenium import webdriver

proxy = "123.123.123.123:8888" von ipipgo bereitgestellte Proxy-Adresse
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--proxy-server=http://{proxy}')

 Denken Sie daran, es durch Ihr eigenes ipipgo-Kontopasswort zu ersetzen!
chrome_options.add_argument('--proxy-auth=username:password')

driver = webdriver.Chrome(options=chrome_options)
driver.get("http://example.com")

Beachten Sie, dass es hier zwei Schlaglöcher gibt:
1. verwenden Sie keine kostenlosen Proxys! Ganz zu schweigen von der langsamen Geschwindigkeit, 90% sind alle übrig gebliebenen IPs, die von anderen verwendet werden.
2. informationen zur AkkreditierungMachen Sie keinen Fehler.Wenn Sie einen Schlüsselgenerator im Backend von ipipgo haben, empfehlen wir Ihnen, diesen direkt zu kopieren und einzufügen.

Praktische Anti-Blockier-Techniken

Es reicht nicht aus, einen Agenten zu haben, man muss auch die Kombinationen lernen:

Häufig gestellte Fragen QA

F: Was sollte ich tun, wenn die Proxy-IP nach ihrer Verwendung ungültig wird?
A: Diese Situation ist achtzig Prozent der Verwendung von öffentlichen Proxy-Pool, ist es empfehlenswert, um ipipgo ändernExklusives IP-PaketDie IP-Adresse jeder IP mit unabhängiger Authentifizierung, Stabilität wird direkt voll gezogen.

F: Der Code läuft und meldet einen Zertifikatsfehler?
A: Versuchen Sie, diesen Parameter zu den Optionen hinzuzufügen:
chrome_options.add_argument('--ignore-certificate-errors')

F: Wie kann ich feststellen, ob eine Vollmacht in Kraft ist?
A: Besuchehttp://ipipgo.pro/checkipAuf dieser Seite können Sie die aktuelle Verwendung der Export-IP, pro-test effektiv sehen.

Verbessertes Spiel: Intelligente Umschaltstrategien

Gemeinsame Nutzung einer High-Level-Konfiguration für die Jungs, unter Verwendung der API von ipipgo für den automatischen IP-Wechsel:

Einfuhrgesuche

def refresh_proxy(): resp = requests.get("")
    resp = requests.get("https://api.ipipgo.pro/getproxy")
    return resp.json()['proxy']

 Automatischer Wechsel der IP-Adresse nach jeweils 20 Seitenaufrufen
wenn count % 20 == 0.
    driver.quit()
    current_proxy = refresh_proxy()
     Reinitialisieren Sie den Browser...

Der Schlüssel liegt in der Auswahl des richtigen Proxy-Anbieters. Ich habe sieben oder acht Anbieter genutzt, aber am Ende ist es immer nochipipgoDie zuverlässigste, mit einer Reaktionszeit von 200 ms oder weniger und einer Ausfallrate von weniger als 0,1%.

Schließlich ist der Proxy-IP nicht ein Allheilmittel, mit einer angemessenen Anfrage Frequenz und Seite Auflösung Strategie. Welche spezifischen Probleme sind willkommen, ipipgo offizielle Website zu finden technischen Kundendienst nörgeln, sie sind online 24 Stunden am Tag, professioneller als ich diese wilde Straße.