curl mit Request-Header | Browser-Zugriff auf die Setup-Skills simulieren

I. Warum muss ich so tun, als ob ich als Browser darauf zugreifen würde?

Eine Menge von Websites sind jetzt mit dem Dieb wie, siehe die direkte curl senden Sie eine Anfrage zu Dump Gesicht. Zum Beispiel verwenden Sie das Kommandozeilen-Tool curl direkt Daten zu greifen, neun Mal von zehn wird 403 verboten erhalten. dieses Mal auf die AnfrageSchminken Sie sich.Dadurch fühlt sich der Server an, als würde eine echte Person mit einem Browser arbeiten.

Hier ist ein Fallstrick zu beachten: Einige Websites prüfen nicht nur den User-Agent, sondern auch Accept-Language, Referer und diese Parameter. Das ist so, als ob Sie in ein schickes Restaurant gehen und nicht nur darauf achten müssen, was Sie anhaben, sondern auch das richtige Passwort sagen müssen, um hineinzukommen.

Zweitens, die Hand, die dir die Kunst der Lockenverhüllung beibringt

Betrachten wir zunächst das einfachste Beispiel:

curl -H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/91.0.4472.124 Safari/537.36" https:/ /beispiel.de

hier sind-H-ParameterEs ist der Schalter, der Dinge in die Kopfzeile der Anfrage packt. Konzentrieren Sie sich auf die Felder, die gefälscht werden sollen, und sehen Sie sich diese Tabelle an:

Drittens, mit der Proxy IP mehr Versicherung

Es reicht nicht aus, den Request-Header zu ändern, denn einige Websites sind nachtragend - sie blockieren IPs, wenn sie verdächtige Besuche feststellen, daher ist es an der Zeit, dieProxy-Dienste für ipipgoum einen Guerillakrieg zu führen. Dies geschieht in drei Schritten:

1. gehen Sie zunächst auf die offizielle Website von ipipgo, um ein Paket zu erhalten, ist es empfehlenswert, die dynamische Wohn-IP zu wählen (dies ist die meisten wie eine reale Person)
2. die API-Adresse und die Portnummer abfragen.
3 Fügen Sie dem Befehl curl den Parameter proxy hinzu.

Der vollständige Befehl sieht wie folgt aus:

curl -x http://username:password@proxy.ipipgo.com:port -H "User-Agent: Browser UA" https://目标网站

IV. praktisches QA Erste-Hilfe-Set

F: Was soll ich tun, wenn ich einen Request Header hinzufüge und trotzdem erkannt werde?
A: Es ist wahrscheinlich, dass das Cookie offengelegt wird. Benutzen Sie zunächst Ihren Browser, um die Seite einmal zu besuchen, kopieren Sie das Cookie heraus und benutzen Sie dann die-H "Cookie: xxx"Parameter zum Einschalten.

F: Wie oft muss ich die Proxy-IP verwenden, bevor sie abläuft?
A: In dieser Situation wird empfohlen, ipipgo'sPaket zur mengenmäßigen AbrechnungDeren IP-Pool wird schnell aktualisiert und wechselt bei jeder Anfrage automatisch die IPs, so dass Sie sich die Mühe ersparen, sie manuell umzuschalten.

F: Was ist, wenn ich den Zugang über ein Mobiltelefon simulieren muss?
A: Ändern Sie den User-Agent z.B. auf die mobile Version:

Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 wie Mac OS X) AppleWebKit/605.1.15 (KHTML, wie Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1

V. Fortgeschrittene Spielerfähigkeiten

Wenn Sie auf eine besonders schwierige Website stoßen, versuchen Sie diese schädlichen Tricks:
- Zufälliger Winterschlaf: dem curl-Befehl wird ein Präfixschlafen $((RANDOM%5+2)) Tun Sie so, als würden Sie über das Leben nachdenken.
- Gemischte Nutzung: IPs für Wohngebäude und IPs für Serverräume werden getauscht (ipipgo hat beide Arten)
- Request Header Shuffle: zufällig anpassen, um die Reihenfolge der Kopfzeile jedes Mal, so dass die Website nicht fangen kann das Gesetz

Zum Schluss noch ein wichtiger Punkt: Wenn Sie eine Proxy-IP verwenden, denken Sie daran, etwas wie ipipgo zu wählen.Vollständige HTTP-Header-Informationen bereitstellenDienstanbieter. Einige billige Proxys verzichten auf die Weitergabe von X-Forwarded-For-Headern und sind stattdessen leicht zu enttarnen.