Python Selenium Web Crawl: Ein Leitfaden zur dynamischen Seitenerfassung

Wenn der Crawler auf eine dynamische Belastung trifft, wie soll dann die manuelle Partei leben?

Vielleicht sind Sie schon einmal auf diese Situation gestoßen: Beim Crawlen von Daten mit Anfragen steht natürlich nichts im Quellcode der Webseite, aber Sie können die Daten im Browser sehen. Das ist das dynamische Laden im Dämon! Dies ist die Zeit, um unser Modell zu bringen - Selenium, aber nur wissen, wie man den Browser zu öffnen ist nicht genug, oder Sie werden von der Website IP blockiert werden, dieses Mal müssen Sie einen Proxy-IP verwenden, um Ihr Leben zu retten.

von selenium import webdriver

proxy = "http://用户名:密码@gateway.ipipgo.com:9021"
Optionen = webdriver.ChromeOptions()
options.add_argument(f'--proxy-server={proxy}')

 Denken Sie daran, chromedriver in dasselbe Verzeichnis wie die Skripte zu legen
driver = webdriver.Chrome(options=options)

Hier gibt es einen Fallstrick, auf den Sie achten sollten:Tippen Sie Ihren Benutzernamen und Ihr Passwort nicht von Hand ein.ist es empfehlenswert, sie in einer Konfigurationsdatei zu speichern. Wenn Sie den Proxy von ipipgo verwenden, folgt auf die Domain gateway.ipipgo.com für jeden Benutzer eine andere Portnummer, kopieren Sie meinen Code nicht direkt, haha.

Die drei Regeln für das Überleben von Proxy IP

Dynamische Akquisition ist wie Minenräuber spielen, die Proxy-IP ist nicht gut mit einer Minute auf die Mine zu treten. Nach den Gruben, in denen ich gewesen bin, habe ich drei lebensrettende Erfahrungen zusammengefasst:

① Rotation ist besser als Single sein

Es wird empfohlen, die IP alle 5 Seiten zu ändern. Die API von ipipgo kann IPs in großen Mengen extrahieren, und es ist einfach, sie mit einer Warteschlange zu verwalten.

② Wählen Sie den richtigen Grad der Anonymität

Der große Vorrat an Proxys von ipipgo wurde getestet, um das Anti-Climbing von 90% zu umgehen, insbesondere bei der grenzüberschreitenden Datenerfassung im E-Commerce, was besonders nützlich ist.

③ Timeout-Einstellung ist eine Kunst

Warten Sie nicht! Es wird empfohlen, den Timeout für das Laden auf 15 Sekunden und den Timeout für die Proxy-Verbindung auf 20 Sekunden einzustellen. Wenn Sie die Premium-Linie von ipipgo nutzen, reichen 10 Sekunden aus, denn die Antwortzeit ist wirklich schnell.

Ärger auf dem Feld

Kürzlich habe ich einem Freund bei der Preisüberwachung von Reise-Websites geholfen und dabei zwei tolle Tipps erhalten:

Spree der Unsichtbarkeit: Verwenden Sie den headless mode + proxy IP double buff stack. Denken Sie daran, den Startparameter hinzuzufügen--headless=newDie Erfolgsquote wird mit der Dynamic Residential IP von ipipgo auf die Spitze getrieben.

options.add_argument("--headless=new")
options.add_argument("--disable-blink-features=AutomationControlled")

Verwechslung von Fingerabdrücken: Ändern Sie den Browser-Fingerprint-Parameter, dazu muss eine Erweiterung geladen werden. Aber mit dem mobilen IP-Pool von ipipgo brauchen Sie sich diese Mühe nicht zu machen, denn verschiedene Exit-IPs sind natürlich die beste Tarnung.

Gemeinsame Rollover-Szene QA

Q：Warum kann ich die Webseite nicht öffnen, wenn der Proxy geöffnet ist?
A: Neunzig Prozent des Problems ist das Zertifikat, in den Optionen zum Hinzufügen deroptions.add_argument('--ignore-certificate-errors')ausprobieren

F: Was sollte ich tun, wenn ich einen Proxy verwende und dieser besonders langsam lädt?
A: erste Änderung ipipgo's Maschinenraum Knoten, ist es empfehlenswert, von der Ziel-Site in der Nähe zu wählen. Zum Beispiel, um die japanische Website klettern, verwenden Sie ihre Osaka Maschinenraum Linie.

F: Was sollte ich tun, wenn ich auf eine menschliche Überprüfung stoße?
A: Wohn-Proxy-IP + analoge Mausbewegung zweigleisig. Aber es ist am besten, die Häufigkeit der Erfassung zu kontrollieren, um die Website nicht zu verärgern.

Sagen Sie etwas, das von Herzen kommt.

Nach so vielen Jahren der Datenerhebung ist die wichtigste Lektion, die wir gelernt haben, in acht Worten zusammengefasst:die richtigen Werkzeuge und Ressourcen zur Hand habenSelenium ist wirklich mächtig, aber ohne die Unterstützung von zuverlässigen Proxy-IP ist wie nackten Schultern. Ich habe eine Menge Proxy-Dienste verwendet, und ich habe am Ende mit ipipgo für eine lange Zeit vor allem wegen zwei Dinge: erstens, ihre IP-Pool wird schnell aktualisiert, und zweitens, die technische Unterstützung Antwort ist zeitnah, und es gibt tatsächlich Menschen, die auf die Arbeit zurück, um drei Uhr in der Mitte der Nacht....

Ein letzter Hinweis für Neulinge: Starren Sie nicht nur auf den Code.Die Qualität der Proxy-IP wirkt sich direkt auf die Erfolgsquote ausDie erste ist, das ipipgo-Paket zum Üben zu verwenden. Zunächst empfiehlt es sich, das ipipgo-Volumenpaket zu verwenden, zunächst 500 IP zu üben und so weiter, um die Anti-Climbing-Gesetze der Zielseite herauszufinden, und dann auf das Volumen. Schließlich können die Kosten für die eingesparte Zeit viel mehr wert sein als die Agenturgebühr.