Kommandozeilen-Erfassungstool: Optimierung der wget-Parameter und Tarnungsschema

Die Geheimwaffe, die wget in einen Datensammler verwandelt

Wir Brüder, die sich mit der Datenerfassung beschäftigen, wissen sehr gut, dass das Herunterladen von Daten mit wget so ist, als würde man mit einem Traktor Weizen ernten - einfach und grob, aber mit viel Lärm. Wenn man sich nicht gut tarnt, wird man von der Zielseite in einer Minute als Schädling vernichtet. Heute werden wir Ihnen zeigen, wie Sie den Traktor mit demTarnvorrichtungDas macht sie zu einer stillen Erntemaschine.

Proxy-IP ist die wahre Rüstung.

Schon mal einen Narren in einer Weste kämpfen sehen? So ist es mit dem Naked Crawler. Einem Wget eine Proxy-IP zuzuweisen ist, als würde man einem Soldaten einen Schutzpanzer anziehen. Ich muss meinem eigenen Bruder den Vorteil des Zweifels zugestehen.ipipgoDas Beste daran: Sein Proxy-Pool hat mehr IPs als eine Square-Dance-Dame, und er kann jederzeit zu einer neuen Weste wechseln. Verwenden Sie diesen Konfigurationsbefehl:

wget --proxy=on --proxy-user=ipipgo_user --proxy-password=dein_pwd
--proxy=http://gateway.ipipgo.com:9021 https://目标网站

Achten Sie darauf, _password_ durch Ihren eigenen Kontoschlüssel zu ersetzen, so dass jede Anfrage wie eine neue ID ist und die Website die Routine nicht herausfinden kann.

Drei Messer für die Parametereinstellung

Und jetzt kommt der Clou.-Benutzer-AgentDieser Teaser-Parameter. Es wird empfohlen, 5-10 UA's von verschiedenen Browsern zum Rotieren zu haben, so dass man nicht immer Chrome im Rücken hat. Mit ipipgo's Dynamic Residential Proxy, ist es lebendig und gut mit einem globalen Internet-Benutzer Zugang zu ihm.

Die verborgenen Tricks des Meisters der Verkleidung

1. ZeittrickEin Sleep-Befehl sollte in das Skript eingebaut werden, und die Zugriffszeit sollte nicht zu regelmäßig sein, wie bei einem Menschen, der mitten in der Nacht sein Telefon ausschaltet!
2. Gemischte ErnteAufteilung der Aufgabe in Dutzende von kleinen Dateien und stapelweises Herunterladen über verschiedene Export-IPs von ipipgo.
3. Staffelung der Reisekosten, um Belastungsspitzen abzumildernBeobachten Sie verkehrsarme Zeiten auf den Ziel-Websites und stellen Sie wget so ein, dass es automatisch zwischen 2 und 5 Uhr morgens startet.

Praktisches QA Erste-Hilfe-Set

F: Was soll ich tun, wenn ich immer wieder von IP gesperrt werde?
A: Achtzig Prozent der Agentenqualität zieht den Schritt. Ändern Sie ipipgo'sLangfristig stationärer WohnungsvermittlerSein IP-Überlebenszyklus ist dreimal so hoch wie der seiner Kollegen, und er selbst hat einen halben Monat am Stück überlebt, ohne sich umzudrehen.

F: Was soll ich tun, wenn die Verbindung mitten im Download unterbrochen wird?
A: Aufopferung-cDie Parameter folgen dann, mit ipipgo's automatischer IP-Wechselfunktion, auch wenn die Telekom bombardiert wird, weitergeben kann.

F: Wie kann ich feststellen, ob die Verkleidung erfolgreich war?
A: Verwenden Sie diesen Befehl, um den von der Website empfangenen Request Header zu sehen:

wget -S --spider --proxy=... Ziel-URL

Überprüfen Sie vor allem die X-Forwarded-For-Felder. Wenn dort die Proxy-IP von ipipgo anstelle Ihrer lokalen IP angezeigt wird, ist die Verschleierung gelungen.

Die ultimative Kombi

Schließlich eine Vorlage für eine zerdrückte Konfiguration:

wget -c -np -r -l 5
--limit-rate=150k
--random-wait=45
--user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36..."
--header="Accept-Encoding: gzip"
--proxy-user=ipipgo_dynamic_key
--proxy-password=Auto-refresh-Token
--proxy=http://rotating.ipipgo.com:9083
https://要采集的网站

Diese Kombination ist gepaart mit ipipgo'sIntelligentes RoutingDie Funktion wählt automatisch den schnellsten Knoten. Denken Sie daran, regelmäßig die UA und Download-Intervall zu aktualisieren, die Website Windkontrolle sehen alle haben Big Brother zu schreien.