cURL Modify User-Agent: Proxy IP Request Header Einstellungen

Lassen Sie sich nicht vom User-Agent verraten!

Sie alte Eisen in der Verwendung von Crawler greifen Daten, sicherlich begegnet die Website tot nicht erlauben den Zugang zu der Situation, nicht wahr? Zu dieser ZeitBenutzer-Agentist Ihr Lebenselixier. Um eine Kastanie zu geben, verwenden Sie die Standard-cURL-Anfrage-Header, nahm der Server einen Blick: "Oh, curl/7.68.0 diese kleine Göre, um Daten wieder zu stehlen", direkt an Sie 403 ohne Verhandlung gesperrt.

 Einen Weg finden, um einen Treffer anzufordern
curl https://example.com

Nette Verkleidung.

Dies ist der richtige Zeitpunkt, um Folgendes anzubietenUser-Agent-TarnungDas folgende Beispiel zeigt, wie die Erfolgsquote mit der folgenden Pose um mehr als das Dreifache gesteigert werden kann. Unser Techniker von ipipgo hat es tatsächlich getestet, und die Erfolgsquote kann mit der folgenden Pose um mehr als das Dreifache steigen:

curl -A "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36..."
--proxy http://user:pass@proxy.ipipgo.com:8888
https://target-site.com

Das ist der springende Punkt:-ParameterÄndern Sie den User-Agent-Schalter, und die Zeichenfolge des Mars-Textes auf der Rückseite sollte wie ein richtiger Browser aussehen. Es wird empfohlen, die neueste Version des UA aus den Browser-Entwickler-Tools zu kopieren und nicht die veralteten Vorlagen aus dem Internet zu verwenden.

Proxy IPs Gold-Partner

Das Ändern Ihrer UA allein reicht nicht aus, denn intelligente Websites merken sich Ihre IP, und da kommen wir ins Spiel.Dynamischer Wohnsitz-Proxy für ipipgoDer Effekt ist so, als würde man zehn Lagen Strümpfe auf einen Antrag hin anziehen:

Der eigentliche Code ist wie folgt geschrieben:

curl -x http://user:pass@proxy.ipipgo.com:8888
-H "Benutzer-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)..."
-H "Accept-Language: zh-CN,zh;q=0.9"
https://data-source.com/api

Sehen Sie sich den Parameter -H an.Hier zusätzlich zu den UA auch die Sprache Identifikation hinzugefügt. Einige Websites kalibrieren mehrdimensionale Informationen, also nicht in die Gosse kommen.

Leitfaden zur Vermeidung der Grube

Eine häufige Überschlagsszene für Neulinge:

1. Unstimmigkeit zwischen UA und IP-Locale (z. B. Verwendung einer chinesischen UA mit einer US-amerikanischen IP)
2. Vergessen, den Timeout-Parameter zu setzen, führt zu einem Stau
3. Vergessenes Umschalten von IP-Pools für hochfrequente Anfragen

Empfohlen für ipipgoIntelligentes Rotationsmodell, die automatisch die IP-Umschaltung übernimmt. Code-Beispiel:

curl --proxy http://user:pass@auto-rotate.ipipgo.com:8899
---max-time 30
-A "Mozilla/5.0 (iPhone; CPU iPhone OS 16_6 wie Mac OS X)..."
https://mobile-site.com

Häufig gestellte Fragen QA

F: Was ist, wenn die UA trotz ihrer Tarnung noch erkannt wird?
A: Achtzig Prozent der anderen anfordernden Köpfe sind ausgesetzt, indem diecurl -vZeigen Sie den vollständigen Request Header an und generieren Sie einen vollständigen Satz von Verkleidungen mit ipipgos Request Header Template Tool.

F: Wie lässt sich das Problem der langsamen Proxy-IP-Geschwindigkeit lösen?
A: Umschalten in der ipipgo-KonsoleKnoten mit niedriger LatenzzeitPlus--connect-timeout 10der nach 10 Sekunden automatisch verworfen wird.

F: Was ist, wenn ich eine Multithreading-Anfrage benötige?
A: Verwenden Sie ipipgo'sgleichzeitige ZulassungFunktion, mit separaten Proxys für jeden Thread, niemals eine IP mit mehreren Threads teilen.

Zu guter Letzt: Viele Websites haben jetztSystem zur VerhaltensanalyseWenn Sie Ihre UA und IP-Adresse ändern wollen, denken Sie daran, die Häufigkeit der Anfragen zu kontrollieren. Wenn Sie es wirklich nicht schaffen, steht Ihnen der technische Support von ipipgo 24 Stunden am Tag zur Verfügung, und Sie können kostenlose Teststunden erhalten, indem Sie das Codewort "UA" melden.