VBA Crawl Site: Tutorials zur automatisierten Excel-Erfassung

Bleibt der VBA Web Crawler immer stecken? Versuchen Sie diesen Proxy-IP-Trick

Kürzlich, eine Menge Freunde tun E-Commerce zu finden, mein Stöhnen, sagte, dass die Verwendung von Excel, um den Preis der Wettbewerber zu erfassen ist immer von der Kette. Entweder die Datenerfassung ist nicht vollständig, oder die IP direkt blockiert, werfen einen halben Tag in der Tabelle ist immer noch leer. Heute werden wir Ihnen zeigen, wie Sie mitVBA + Proxy IPDie Kombinationen, die das Sammeln von Daten zum Dauerzustand machen.

Warum wird Ihre VBA immer von Websites abgerufen?

Viele Neulinge wissen nicht, jetzt die Website installiert sind "elektronische Gatekeeper". Zum Beispiel, ein Schatz Anti-Climbing-System, erhielt 30 Anfragen innerhalb von 1 Minute, direkt blockiert IP. Ich habe die rücksichtslosesten Fall gesehen, ein Kumpel mit ihren eigenen Breitband, um Daten zu erfassen, die Ergebnisse der gesamten Unternehmensnetzwerk wurden auf die schwarze Liste gesetzt.

Wie wird VBA durch Proxy-IPs erneuert?

Und hier kommt unser Retter ins Spiel.ipipgo dynamischer Proxy-DienstDas erste, was ich tat, war, die IP-Adresse von Excel auf eine neue IP-Adresse zu ändern. Es ist wie der Wechsel unzählige Westen für Excel, und eine neue IP für jede Anfrage. der eigentliche Test mit seinem Wohn-Proxy, kontinuierliche Sammlung für 8 Stunden nicht den Schutzmechanismus auslösen.

Sub Crawler With Proxy()
    Dim http As Object
    Set http = CreateObject("MSXML2.XMLHTTP")

    ' Holen Sie sich den neuesten Proxy von ipipgo (geben Sie hier Ihre eigene API ein)
    proxy = GetIPFrom_ipipgo() ' Rückgabeformat 1.2.3.4:8080

    http.Open "GET", "https://目标网站.com", False
    http.setProxy 2, proxy ' Proxy-Modus einstellen
    http.send

    ' Die zurückgegebenen Daten verarbeiten...
End Sub

Praktische Konfiguration von Agenten in 3 Schritten

Schritt eins:Gehen Sie auf die offizielle ipipgo-Website und registrieren Sie sich, dann wählen Sie dieDynamische WohnungsvermittlerPakete, keine billigen IPs für Rechenzentren, sie sind leicht zu erkennen.

Zweiter Schritt:Fügen Sie den Proxy-Authentifizierungs-Header zur VBA hinzu, was viele Leute übersehen werden:

http.setRequestHeader "Proxy-Authorisation", "Basic " & Base64 encoding("Account:Password")

Dritter Schritt:Denken Sie daran, eine zufällige Verzögerung einzustellen, senden Sie keine Anfragen wie ein Maschinengewehr, es wird empfohlen, eine zufällige Pause von 200-800 ms einzulegen.

Praktischer Leitfaden zur Vermeidung der Grube

Ich bin letzte Woche auf diese Minen gestoßen, als ich einem Kunden bei einem Drogenvergleichssystem half:

1. Problem mit dem SSL-Zertifikat: am Anfang des Codes hinzufügenhttp.setOption(2) = 13056Bypass-Verifizierung
2. IP-Pool-Wiederverwendung: Achten Sie darauf, die Rückkehr Inhalt zu erkennen, fand der Prüfcode sofort auf eine neue IP wechseln
3. Timeout-Einstellung: Empfohlen werden nicht mehr als 10 Sekunden, die Antwortgeschwindigkeit von ipipgo liegt in der Regel innerhalb von 3 Sekunden

Häufig gestellte Fragen Erste-Hilfe-Kasten

F: Wie oft muss ich die Proxy-IP verwenden, bevor sie abläuft?
A: Prüfen Sie, ob Sie einen gemeinsam genutzten IP-Pool verwenden, und ersetzen Sie ihn durch das exklusive Proxy-Paket von ipipgo, um das Problem sofort zu lösen.

F: Kann die Kriechgeschwindigkeit nicht erhöht werden?
A: Öffnen Sie 5-10 asynchrone Anfragen zur gleichen Zeit, mit ipipgo's 5Gbps Hochgeschwindigkeitskanal kann die Geschwindigkeit 8 mal verdoppelt werden!

F: Melden HTTPS-Websites immer Fehler?
A: SetzenMSXML2.XMLHTTP(etw.) gegen (etwas anderes) tauschenWinHttp.WinHttpRequest.5.1Versuchen Sie das Objekt.

Warum ipipgo?

Wir haben anfangs 7 Anbieter getestet und uns schließlich aus drei Gründen für ipipgo entschieden:
1. reale Wohn-IPs mit voller Tarnung zieht
2. exklusive UnterstützungAutomatische Ersetzung des Benutzer-Agenten
3. auf technische Probleme innerhalb von 10 Minuten zu reagieren.
Letzte Woche haben sie eine neuePositionierung auf StadtebeneFunktionalität, hervorragend für die örtlich begrenzte Datenerfassung

Ehrlich gesagt, die automatische Erfassung ist wie ein Guerillakrieg. Das letzte Mal, als ich die Rotationsstrategie von ipipgo angewandt habe, konnte ich die kommunale IP-Sperre in einem bestimmten Osten erfolgreich umgehen. Denken Sie an die wichtigsten Punkte:Qualitäts-Proxy + Zufallsverzögerung + AusnahmebehandlungWenn diese drei Achsen ausfallen, kann der Standort des 90% fixiert werden.