curl-Anfragen mit Headern: Beispiel für eine Anti-Detection-Konfiguration

Hands on mit Locke, um die Füße des Pferdes zu verstecken

Die alten Eisen, die sich mit Netzwerkanfragen beschäftigen, wissen, dass der Anti-Climbing-Mechanismus der Website jetzt immer ausgefeilter ist. Proxy-IP ist nicht genug, müssen Sie den Kopf der gesamten Operation wie eine echte Person zu beantragen. Heute nehmen wir die häufigste curl-Befehl zu starten, sagen, wie die Ziel-Site konfigurieren können Sie nicht erkennen, wie eine Maschine.

Warum hat der Antragsteller sie weggeworfen?

Viele Neulinge denken, dass es in Ordnung ist, eine Proxy-IP aufzuhängen, aber in Wirklichkeit ist dieDie Kopfzeile der Anfrage ist sehr lückenhaft.. Gib mir eine Kastanie:

http://example.com locken.

Diese Standardanforderung wird Ihre Curl-Version offenlegen, Webmaster werden diesen Feature-Header sehen und Ihre IP in Minutenschnelle blockieren.

Konfigurationsvorlagen aus der Praxis

Hier ist eine Konfiguration, die im wirklichen Leben funktioniert hat (denken Sie daran, den Proxy in Ihren eigenen zu ändern):

curl -x http://username:password@gateway.ipipgo.net:9020
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/114.0.0.0 Safari/537.36"
-H "Accept-Language: zh-CN,zh;q=0.9"
-H "Referer: https://www.google.com/"
-H "Sec-Fetch-Dest: document" -H "Sec-Fetch-Dest: document" -H "Sec-Fetch-Dest: document"
https://target-site.com

Ein paar wichtige Punkte:

Leichtes Betreten der Grube

1. Benutzer-Agent abgelaufenUA: Verwenden Sie keine alte Version des Browsers UA, es wird empfohlen, die Versionsnummer einmal im Monat zu aktualisieren.
2. Konflikte zwischen Sprachparametern: Accept-Language ohne en, es sei denn, Sie wollen eine englische Website besuchen.
3. AgenteninstabilitätBei Verwendung des exklusiven Proxys von ipipgo kann die tatsächliche Ausfallrate auf 0,3% oder weniger gedrückt werden.

QA-Zeit

F: Muss ich den Request-Header trotzdem ändern, um den Proxy mit hoher Anonymität zu verwenden?
A: Sie muss geändert werden! High Stash kann nur die IP verbergen, die Merkmale des Request Headers werden weiterhin erkannt!

F: Wie wähle ich eine Proxy-Adresse für ipipgo?
A: Es gibt einen vorgefertigten Codegenerator im Backend der Webseite, wählen Sie den Modus "curl+anti-detection" und kopieren Sie ihn direkt.

F: Ist es besser, mehr Parameter für die Kopfzeile einer Anfrage zu haben?
A: Großer Fehler! Das Hinzufügen von zu vielen nicht nützlichen Parametern ist ziemlich verdächtig, nach der Vorlage haben wir genug gegeben!

fortgeschrittene Fähigkeit

1. zufällige Verzögerung: Fügen Sie sleep $((RANDOM%5)) vor dem Befehl ein, um eine zufällige Pause von 0-5 Sekunden einzulegen.
2. rotierende UA: Speichern Sie häufig verwendete UA in einer txt-Datei und lesen Sie sie bei jeder Anfrage nach dem Zufallsprinzip.
3) Protokolltarnung: Der Proxy von ipipgo unterstützt sowohl den Socks5- als auch den http-Modus, daher wird empfohlen, beide zu mischen.

Der letzte Punkt, an den ich Sie erinnern möchte, ist, dass die Konfiguration perfekt ist, aber die Qualität des Proxys nicht gut genug ist. Kürzlich, als ich einem Kunden bei der Fehlersuche half, stellte ich fest, dass die Erfolgsquote des gewöhnlichen Proxys nur 78% beträgt, aber das Business-Paket von ipipgo direkt auf 99,6% anstieg. Diese Sache ist ähnlich wie beim Tragen von Kleidung, die Jacke (Proxy) und die Unterwäsche (Request Header) müssen beachtet werden.