cURL Add Request Header: Proxy IP Simulation Browser

Browser-Manipulation: Tipps zur cURL-Verkleidung

Sind Sie jemals auf diese Situation gestoßen? Mit dem Verfahren zur Erfassung von Daten wird immer von der Website abgefangen, können die Menschen sehen, dass Sie eine Maschine Zugang sind. Heute, um Ihnen ein Meisterwerk zu lehren - mit cURL in einem Browser getarnt, mit demipipgoProxy-IP, damit der Server die echte IP nicht erkennen kann!

Warum die Browserweste?

Webserver sind jetzt verfeinert und können den Maschinenzugang an zwei Merkmalen erkennen:

1. Die Kopfzeilen der Anfragen sind zu sauber (die Browser enthalten Dutzende von Parametern)
2. Fester IP-Hochfrequenzzugang (löst sofort eine Risikokontrolle aus)

Eine nackte cURL-Anfrage sieht zum Beispiel so aus:

http://example.com locken.

Der Server sieht diese Art von Anfrage mit nacktem Brett und schickt Sie mit einem 403-Fehler weg. Wir müssen dem Anfragepaket ein Make-up und eine Proxy-Weste verpassen.

Leitfaden für die Beantragung von Kopfschminke

Konzentrieren Sie sich darauf, diese drei Parameter zu verschleiern:

Beispiel für Live-Code (beachten Sie, dass der Parameter -H sicherer ist, um in Segmenten zu schreiben):

curl -H "User-Agent: Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/91.0.4472.124 Safari/537.36"
     -H "Accept-Language: zh-CN,zh;q=0.9,en;q=0.8"
     -H "Referer: https://www.baidu.com/"
     http://target-site.com

Der richtige Weg zur Eröffnung einer Proxy-IP

Es reicht nicht aus, den Request-Header zu ändern, die IP-Adresse ist offengelegt und man ist immer noch aufgeschmissen. Es wird empfohlen, dieipipgoDer dynamische Wohnungsvermittler, der sehr einfach zu bedienen ist:

curl -x http://username:password@gateway.ipipgo.io:9021
     -H "User-Agent: ..."
     http://target-site.com

Beobachten Sie diese Stelle.-xParameter geben den Proxy-Server, ipipgo's Proxy-Pool wird automatisch rotieren IP, mehr als zehnmal stabiler als eine einzelne IP. Getestet 500 aufeinanderfolgende Anfragen haben nicht ausgelöst Blockierung, getestet effektiv!

Anti-Blocking-Paket

Verwenden Sie eine Kombination aus diesen beiden Tricks, um bessere Ergebnisse zu erzielen:

 Definieren Sie zunächst das Array für die Anfrage-Header
headers=(
    "Benutzer-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, wie Gecko) Version/15.0 Safari/605.1.15"
    "Akzeptieren: text/html,application/xhtml+xml"
    "Verbindung: keep-alive"
)

 Initiieren Sie eine Anfrage mit einem Proxy
curl -x http://user123:pass456@proxy.ipipgo.io:9021
     $(printf "-H '%s' " "${headers[@]}")
     https://target-site.com/api/data

Dieses Skript verwendet ipipgo's intelligentes Routing, schaltet automatisch die Ausgangs-IP für jede Anfrage, mit zufälligen Anfrage-Header-Parameter, die Anti-Blocking-Rate von 90% oder mehr.

Häufig gestellte Fragen zur Minenräumung

F: Was soll ich tun, wenn ich nach dem Hinzufügen des Request-Headers immer noch erkannt werde?
A: Prüfen Sie auf Cookies und SSL-Fingerprinting, die in der ipipgo-Konsole aktiviert sein solltenBrowser-Fingerabdruck-EmulationFunktionalität

F: Was sollte ich tun, wenn meine Proxy-IP häufig ausfällt?
A: Nach dem Befehl curl fügen Sie--connect-timeout 10Parameter, kontaktieren Sie auch den technischen Support von ipipgo, um die Leitung zu optimieren

F: Was ist, wenn ich eine Multithreading-Anfrage benötige?
A: Parallele Ausführung mit xargs mit ipipgo'sGleichzeitiges Multi-Channel-PaketDie Geschwindigkeit nimmt sofort ab.

Abschließend möchte ich Sie daran erinnern, nicht gierig nach billigen Proxy-Diensten zu sein. Ich habe schon mit einigen kleinen Anbietern zusammengearbeitet, und deren IP-Reinheit ist einfach nicht angemessen.ipipgoals. Die Menschen haben ihre eigenen Server-Raum + Betreiber Zusammenarbeit Ressourcen, die Erfolgsquote kann 99.2% sein, tun Datenerhebung wissen, wie selten diese Zahl. Neue Benutzer-Registrierung senden auch 20G Verkehr Paket, versuchen Sie nicht für nichts, richtig?