Der curl-Befehl mit Request Header: Erweiterte Anfragekonfiguration

Was zum Teufel ist ein Request Header? Lassen Sie uns die Grundlagen klären

Normalerweise verwenden wir curl, um eine Anfrage zu senden, wie einen Kurier zu senden, ist die Anfrage Header an das Paket angehängtLogistik EtikettierungSagen Sie zum Beispiel: "Ich fordere von einem Android-Telefon aus an" oder "Ich unterstütze Komprimierung". Sagen Sie der anderen Partei zum Beispiel: "Ich bin von einem Android-Telefon angefragt" oder "Ich unterstütze das komprimierte Format". Einige Websites blockieren ausdrücklich Anfragen ohne Anfragekopfzeile, so dass wir die Lieferscheinnummer manuell fälschen müssen.

Zum Beispiel, eine Website akzeptiert nur Besuche von WeChat's integrierten Browser. Wir verwenden gewöhnliche curl direkten Zugriff gekniffen werden Hals, dieses Mal mit dieser Anfrage Header getäuscht werden kann:

curl -H "Benutzer-Agent: MicroMessenger/8.0"
-H "Referer: https://servicewechat.com/"
https://目标网站.com

Proxy-IPs und Anfrage-Header sind ein gutes Paar.

Die Verwendung einer Proxy-IP allein ist so, als würde man mit einer Maske ausgehen, aber man wird trotzdem erkannt, wenn man seine alten Klamotten trägt. In diesem Fall ist der Request-Header IhrRequisiten. Wenn Sie den Proxy-Dienst von ipipgo verwenden, wird empfohlen, alle drei Schlüssel-Header gleichzeitig zu konfigurieren:

Hands-on Erweiterte Konfiguration

Hier ist ein praktisches Beispiel für die Verwendung von ipipgos Residential Proxy und benutzerdefinierten Anfrage-Headern für die Datenerfassung:

curl -x http://user:password@proxy.ipipgo.com:8000
-H "Benutzer-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 wie Mac OS X)"
-H "Accept-Encoding: gzip, deflate" -H "Cookie: sessionid=abc123"
-H "Cookie: sessionid=abc123"
--connect-timeout 15
--Max-Zeit 30
https://目标网站.com/api/data

Tippen Sie zur Betonung auf die Tafel:

• Parameter -xGeben Sie den Proxyserver an. Denken Sie daran, den Benutzernamen und das Passwort von ipipgo zu ersetzen.
• -connect-timeoutKontrollieren Sie die Wartezeit der Verbindung und brechen Sie ab, wenn diese Zeit überschritten wird.
• Benutzer-AgentHier als Apple-Telefon getarnt, angepasst an das Ziel

Erste-Hilfe-Richtlinien für häufige Überschlagsszenen

F: Nachdem ich den Request Header hinzugefügt habe, verweigert mir die Website immer noch den Zugang?
A: Versuchen Sie diese beiden Tricks: 1) Ändern Sie das mobile Proxy-Paket von ipipgo 2) Fügen Sie den Parameter X-Forwarded-For in den Request-Header ein.

F: Proxy-IP wird plötzlich zu Schildkrötengeschwindigkeit?
A: 80% sind Netzwerküberlastungen, das ipipgo Backend hat eineIntelligente UmschaltungFunktion wird durch Hinzufügen des Parameters -proxy-anyauth zum Befehl curl automatisch der schnellste Weg gewählt

F: Was ist, wenn ich HTTPS-Anfragen bearbeiten möchte?
A: Ändern Sie das Proxy-Protokoll z. B. von http auf https:

curl -x https://user:password@proxy.ipipgo.com:8001 ...

So erzielen Sie mit der Hälfte des Aufwands das doppelte Ergebnis.

1. für Batch-Anfragen verwenden Sie ipipgo'sSitzung halteneine feste ConnectionID in den Request-Header ein, um sicherzustellen, dass jedes Mal dieselbe Exit-IP verwendet wird.

2. Sammlung von Bild-Ressourcen, denken Sie daran, Accept: image/webp diese Kopfzeile hinzufügen, kann 30% Verkehr Verbrauch zu reduzieren

3. keine Panik, wenn der Verifizierungscode, die Anfrage Header User-Agent auf die neueste Version von Google Chrome geändert, stieg die Erfolgsquote sofort 50%

Und schließlich ist ipipgo vor kurzem in Betrieb gegangen!Kopfzeilenvorlagen-Bibliothek anfordernEingebaute Header-Konfiguration für mehr als 200 gängige Geräte, die direkt kopiert und eingefügt werden können, was Zeit und Mühe spart. Neue Benutzer können sich auch registrieren, um eine 3-Tage-Testversion des Premium-Pakets zu erhalten, verpassen Sie es nicht!