VBA Web Capture: Automatisierte Datenerfassung in Excel

Warum ist VBA für die Erfassung von Webdaten immer blockiert? Versuchen Sie diese Methode!

Alte Eisen Menschen Excel verwenden, um Daten zu greifen ist nicht oft diese Situation begegnet? Skripte laufen gut auf die plötzliche Lücke, die Web-Seite fordert zu häufige Besuche. In dieser Zeit, nicht hetzen, um die Tastatur zu zerschlagen, achtzig Prozent Ihrer IP ist die Website starrte auf! Heute werden wir die Jungs lehren, wie man den Proxy-IP dieses Artefakt zu verwenden, so dass die VBA-Sammlung ist so stabil wie der alte Hund.

Was ist an Proxy-IP so schwarz?

Einfach ausgedrückt, gibt sie dem Netz eine Anfrageeine Maske tragenWenn Sie eine echte Person oder eine Maschine sind, können Sie jedes Mal, wenn Sie besuchen, zu einer falschen Identität wechseln. Zum Beispiel mit ipipgo home services, kann automatisch zwischen verschiedenen Regionen der IP-Adresse wechseln, kann die Website nicht sagen, ob Sie eine reale Person oder Maschine sind. Dieser Trick gegen die Anti-Climbing-Mechanismus ist besonders nützlich, als der harte Kopf der wilden refresh viel stärker.

Sub Web Crawl With Proxy()
    Dim http As Object
    Set http = CreateObject("WinHttp.WinHttpRequest.5.1")

    ' Proxyserver einstellen (z.B. auf ipipgo)
    http.SetProxy 2, "http=45.123.123.123:8080" 'Tragen Sie hier die von ipipgo bereitgestellte Proxy-Adresse ein

    http.Open "GET", "https://目标网站.com", False
    http.Send

    Debug.Print http.ResponseText
End Sub

Bringen Sie VBA bei, sich mit der Proxy-IP zu verbinden!

Und jetzt kommt der Clou! Das Hinzufügen von Proxys zum Code ist eigentlich außerordentlich einfach:

1. Gehen Sie auf die ipipgo-Website und buchen Sie ein Paket (für Neulinge reicht das Abo)
2. Suchen Sie die Adresse der API-Schnittstelle im Backend, sie sieht normalerweise so aus: http://账号:密码@gateway.ipipgo.com:端口
3. Fügen Sie die folgende Codezeile in Ihr VBA-Skript ein:

http.SetProxy 2, "http=gateway.ipipgo.com:31052"

Erste-Hilfe-Richtlinien für häufige Überschlagsszenen

Q：Was soll ich tun, wenn meine Proxy-IP nicht funktioniert, wenn ich sie benutze?
A: 80% der IP-Pool aufgebraucht ist, im Hintergrund der ipipgo "automatischen Ersatz von IP" einschalten, setzen Sie alle 5 Minuten, um eine Charge von neuen IP ändern.

F: Warum wird es nach dem Hinzufügen eines Proxys langsamer?
A: Vielleicht ist der Knoten nicht wählen Sie das Recht, ipipgo Hintergrund kann niedrige Latenz Raum Bildschirm. Es gibt auch eine kalte Wissen: wählen und Web-Server in der gleichen Region des Proxy-Knoten, kann die Geschwindigkeit schneller 30% sein!

F: Was bedeutet der Fehlercode 80072EFE?
A: Dies ist in der Regel ein Proxy-Konfigurationsfehler, überprüfen Sie die drei Elemente: IP-Adresse, Port, Protokoll-Typ gibt es keine Kopie Fehler. Wenn Sie es wirklich nicht herausfinden können, antwortet der technische Kundendienst von ipipgo recht schnell.

Warum empfehlen Sie ipipgo?

dieseDynamische WohnungsvermittlerEs macht sehr viel Spaß! Ich habe sieben oder acht Dienstleistern verwendet, seine IP Überlebenszeit ist lang, im Gegensatz zu einigen Dienstleistern, die IP mit zwei Minuten zu hängen geben. Der Punkt ist, dass ihre Unterstützung für die automatische Umschaltung, keine Notwendigkeit, manuell zu werfen, besonders geeignet für uns, um die Sammlung der Szene aufhängen.

Zum Schluss noch ein Ratschlag: Kaufen Sie keine kostenlosen Proxys, diese IPs sind schon lange von den großen Websites geschwärzt worden. Geben Sie ein wenig Geld mit ipipgo kommerziellen Ebene Agent, sparen Zeit sind genug, um zwei Hühner zu essen. Denken Sie daran, der Schlüssel zu einer stabilen Sammlung istGute Proxys verwenden + Frequenz kontrollierenWenn diese beiden Dinge richtig gemacht werden, ist die Datenerfassung so einfach wie das Aufheben von Geld!