Proxy IP Einstellung cURL Request Header Beispiel: cURL Proxy IP Request Header Beispiel

Bringt Ihnen bei, cURL zu verwenden, um Proxy-IP handlich aufzuhängen

Crawler sollten die alten Eisen, direkte nackte Anfrage Website Minuten blockiert werden IP zu verstehen. dieses Mal die Notwendigkeit für Proxy-IP zu decken, heute nehmen wir die häufigste cURL-Tool zu öffnen, sagen, wie es zu geben, eine "Mantel und Degen" zu tragen.

Betrachten wir die einfachste Art zu spielen: Nehmen wir an, Sie beginnen mit deripipgoIch habe eine Proxy-IP, die wie folgt aussieht.123.45.67.89:8080Die Pose der Person, die den cURL ausfüllt, sieht folgendermaßen aus:

curl -x http://123.45.67.89:8080 https://目标网站.com

Beobachten Sie diese Stelle.-xDer Parameter ist der alte Treiber, der den Proxy angibt, http://开头说明用的是HTTP协议代理. Wenn der Proxyserver eine Authentifizierung des Kontopassworts erfordert, müssen Sie ihn auf diese Weise schreiben:

curl -x http://用户名:密码@123.45.67.89:8080 https://目标网站.com

Die große Anfrage Header Disguise

Einige Websites sind so ausgeklügelt, dass es nicht ausreicht, die IP-Adresse zu ändern, sondern auch den Header der Anfrage zu ändern. Dies ist der Zeitpunkt, an dem man auf die-HParameter für ein Facelifting:

curl -x http://123.45.67.89:8080
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0) der richtige Browser"
-H "Accept-Language: zh-CN"
https://目标网站.com

Konzentrieren Sie sich darauf, diese drei Kopfzeilen zu verschleiern:

IP-Autodrehungstrick

Eine einzelne IP, die lange Zeit verwendet wurde, wird immer noch identifiziert, dieses Mal an ipipgo auf derdynamischer Agentenpool. Die Adresse ihres Vertreters sieht wie folgt aus:gateway.ipipgo.com:20000und ändert bei jeder Anfrage automatisch die IPs:

curl -x http://账号:密码@gateway.ipipgo.com:20000 https://目标网站.com

Achten Sie auf die Portnummer, ipipgo home verschiedene Ports entsprechen verschiedenen Diensten:

• Port 20000: Inländischer Mischwählagent
• 30000 Häfen: Übersee-Qualitätslinien
• Port 40.000: Hochgradig anonymer Agent auf Unternehmensebene

Ein Leitfaden zur Vermeidung von Fallstricken bei HTTPS-Anfragen

HTTPS-Websites können SSL-Fehler melden, dieses Mal um eine-proxy-sslParameter:

curl --proxy-ssl -x http://123.45.67.89:8080 https://加密网站.com

Wenn das nicht funktioniert, versuchen Sie, die Zertifikatsüberprüfung zu ignorieren (verwenden Sie sie nicht für wichtige Vorgänge):

curl -k --proxy-ssl -x http://123.45.67.89:8080 https://加密网站.com

Tatsächliches QA-Triple

F: Die Proxy-Einstellung ist erfolgreich, aber ich kann keine Verbindung herstellen?
A: Entfernen Sie zunächst den Proxy und pingen Sie die Gateway-Adresse direkt an, z. B.gateway.ipipgo.com anpingenPrüfen Sie, ob Sie durchkommen, und stellen Sie sicher, dass das Passwort des Kontos nicht falsch kopiert wurde.

Q：Return 407 Proxy-Authentifizierungsfehler - was ist zu tun?
A: 90% des Kontopasswortformats ist nicht korrekt, die richtige Haltung istBenutzername:Passwort@Proxy-AdresseBeachten Sie, dass Sonderzeichen in der URL kodiert werden sollten.

F: Wie kann ich die tatsächlich verwendete Export-IP überprüfen?
A: Schließen Sie den Proxy an und besuchen Sie die Erkennungsschnittstelle von ipipgo's home:
curl -x http://代理IP:端口 https://api.ipipgo.com/ip

Das Tor zur Wahl der Agenturleistungen

Ein letztes Wort der Vorsicht: Bei der Auswahl eines Vermittlungsdienstes müssen Sie auf drei Dinge achten:

1. Ist der IP-Pool groß genug (die Homepage von ipipgo wird täglich mit Millionen von IPs aktualisiert)
2. Gibt es eine automatische Authentifizierungsfunktion (ihr intelligentes Terminplanungssystem ist wirklich gut)
3. Konstante Reaktionszeit (gemessene Latenzzeit für inländische Knoten <50 ms)

Wenn Sie sich die Mühe ersparen wollen, können Sie einfach die von ipipgo bereitgestellte Datei verwendencURL-eigener Proxy-KanalSie bereitete auch eine fertige Code-Vorlage, die offizielle Website Dokumente verwendet werden können, um nach unten ziehen. Denken Sie daran, dass der Agent dieser Angelegenheit mit dem gleichen Tragen einer Weste, der Schlüssel ist es, oft zu ändern, um zu tragen, lassen Sie sich nicht die Ziel-Website, um Ihren wirklichen Körper zu erkennen.