Go Crawler: Colly Framework Concurrent Acquisition

Erstens: Warum müssen die Crawler auf der Proxy-IP sein?

Die Brüder, die sich mit dem Crawling beschäftigen, wissen, dass der Mechanismus zur Verhinderung des Kletterns am Zielort strenger ist als die Zugangskontrolle der Gemeinde. Wenn man die Zugangskontrolle ein Dutzend Mal durchstreicht, müssen die Sicherheitskräfte unbedingt den Ausweis kontrollieren. Zu diesem Zeitpunkt ist die Proxy-IP gleichbedeutend mit einem täglichen Wechsel der Kleidung in die Gemeinschaft, so dass das Anti-Climbing-System denkt, dass der normale Benutzer besucht.

Nehmen wir ein reales Beispiel: eine E-Commerce-Plattform zur Überwachung der Warenpreise. Wenn Sie keinen Proxy verwenden, wird die IP in weniger als einer halben Stunde gesperrt. Wenn SieipipgoNach dem Agentenpool lief er drei Tage hintereinander, ohne dass die Windsteuerung ausgelöst wurde, und die Sammelquote stieg von 40% auf 95%.

Zweitens, wie man auf die Gleichzeitigkeitsdrossel des Colly-Frameworks tritt

Die Gleichzeitigkeitssteuerung, die mit dem Colly-Framework geliefert wird, ist wie ein manuelles Auto, bei dem standardmäßig nur ein Thread funktioniert. Wir müssen den Gang manuell einlegen:

c := colly.NewCollector(
    colly.Async(true), // Einschalten des Async-Schalters
)
c.Limit(&colly.LimitRule{
    Parallelität: 10, // 10 gleichzeitig ablaufende Konkurrenzen
    RandomDelay: 2time.Second, // zufällige Pause
})

Beachten Sie, dass es hier zwei Schlaglöcher gibt:
1. wenn Sie keine Verzögerung einstellen, ist die Gleichzeitigkeit zu hoch und löst direkt ein Anti-Climbing aus.
(2) Die Toleranz der verschiedenen Websites ist nicht die gleiche, wir müssen langsam versuchen, die optimale Anzahl der Gleichzeitigkeit herauszufinden.

Proxy-IP-Leitfaden für den praktischen Zugang

Direkt zu den Trockenwaren, mitipipgoDas API-Andockbeispiel:

func getProxy() string {
    resp, _ := http.Get("https://api.ipipgo.com/proxy?format=text")
    defer resp.Body.Close()
    body, _ := ioutil.ReadAll(resp.Body)
    return "http://" + string(body)
}

c.SetProxyFunc(func(r http.Request) (url url.URL, err error) {
    return url.Parse(getProxy())
})

Gezielte Erinnerung:
- Muss vor jeder Anfrage auf eine neue IP wechseln
- Umgang mit Proxy-Ausfällen
- Denken Sie daran, eine Zeitüberschreitung einzustellen, um Störungen zu vermeiden.

Viertens, die Sammlung der tatsächlichen Kampf zu vermeiden, die Grube Handbuch

Vor kurzem bin ich auf eine Mine getreten, als ich einem Kunden bei einem Preisvergleichssystem half:
1. die IP-Bibliothek eines Agenten weist eine hohe Wiederholungsrate auf, wobei 3 von 10 IP-Änderungen gleich sind.
2. wenn der Header der Anfrage nicht randomisiert wird und die Zielstation die Merkmale des Crawlers erkennt.
3. das Vergessen, eine Timeout-Kontrolle zu setzen, was zu Speicherlecks führt

(etw. anders) verwendenipipgoNach dem exklusiven IP-Pool wird die IP-Duplizierungsrate auf 0,3% reduziert, wobei die folgende Konfiguration für bessere Ergebnisse sorgt:

V. Häufig gestellte Fragen QA

F: Was sollte ich tun, wenn ich oft keine Verbindung zur Proxy-IP herstellen kann?
A: Überprüfen Sie drei Dinge: 1. IP-Überlebensüberwachung 2. Ersetzen Sie das Port-Protokoll 3. Kontaktieren Sie denipipgoKundenservice Change Line

F: Was soll ich tun, wenn ich mit dem Erwerb nicht zurechtkomme?
A: Bestätigen Sie zunächst, ob die Proxy-IP hinterhergezogen wurde, indem Sie dieipipgoDie Reaktionszeit der Geschwindigkeitstestschnittstellenerkennung und die Verzögerung des Qualitätsagenten sollte weniger als 800 ms betragen.

F: Ist der Server auch dann noch aktiv, wenn meine IP gesperrt wird?
A: Der größte Vorteil der Verwendung einer Proxy-IP ist die Isolierung des Risikos: Selbst wenn die IP blockiert wird, hat dies keine Auswirkungen auf den lokalen Rechner. Allerdings sollten Sie darauf achten, dass Sie den Server nicht dazu verwenden, um Anfragen direkt zu initiieren, und für eine gute Netzwerkisolierung sorgen.

Abschließend noch ein Ratschlag: Versuchen Sie nicht, billig zu sein und einen kostenlosen Agenten zu benutzen, bevor ein Bruder die Daten des internen API-Schlüssels des Unternehmens geleakt hat, das Ergebnis war gezielt, der Verlust kann viel teurer sein als die Gebühr des Agenten. Professionelle Dinge zu professionellen Dienstleistungen.ipipgoDiese regulären Dienstleister verfügen über Audit-Protokolle, so dass Sie zurückverfolgen können, wenn etwas schief läuft.