
Kommen Sie, lassen Sie uns über wget proxy sprechen.
In letzter Zeit fragen viele alte Eisen, die Daten sammeln, wie man wget unter den Dingen mit Benutzernamen und Passwort-Authentifizierung verwenden kann. Diese Sache ist einfach, aber auch einfach, aber auch mühsam. Lasst es uns heute aufbrechen und in Stücke reiben, damit ihr es in drei Minuten lernen könnt.
Sehen wir uns einmal an, warum wir eine Proxy-Zertifizierung brauchen.
Wenn Sie zum Beispiel ein Proxy-Paket von ipipgo kaufen, sieht die Adresse, die Sie erhalten, wie folgt aus:http://username:password@gateway.ipipgo.com:8080. Der Trick ist, dass Sie das Passwort in die Anfrage einfügen müssen. Wenn Sie es in der Befehlszeile nicht mögen, erkennt wget es nicht und Sie müssen spezielle Parameter verwenden.
Praktisch für die Anpassung an die Zertifizierungsparameter
Das ist der springende Punkt! Denken Sie an diese beiden goldenen Parameter der Partnerschaft:
wget --proxy-user=Ihre Kontonummer
--proxy-password=Ihr Passwort
http://目标网址
Beachten Sie, dass diese beiden Parameter wie folgt lauten müssenpaarweise auftreten, nicht einmal eine weniger. Wenn Sie den Proxy von ipipgo verwenden, denken Sie daran, Ihr Kontopasswort in die Authentifizierungsdaten zu ändern, die sie Ihnen geben.
Keine Panik bei Fehlern, erfahrene Fahrer lehren Sie Entminen
Dies ist ein häufiger Fallstrick für Neulinge:
Fehlercode 407: Proxy-Authentifizierung erforderlich
Dies bedeutet, dass der Proxyserver keine Authentifizierungsinformationen erhält. Überprüfen Sie zunächst drei Dinge:
1. ist das Passwort des Kontos umgedreht?
2. fehlen zwei Minuszeichen vor den Parametern?
3) Ist die Portnummer der Proxy-Adresse korrekt?
Die Profilmethode für faule Männer
Wenn Sie den Proxy täglich benutzen, ist es zu mühsam, die Parameter jedes Mal neu einzustellen. In der~/.wgetrcFügen Sie diese Zeilen in die Datei ein:
use_proxy = ein
http_proxy = http://用户名:密码@gateway.ipipgo.com:端口
https_proxy = http://用户名:密码@gateway.ipipgo.com:端口
Wenn Sie dies getan haben, wird jedes Mal, wenn Sie wget verwenden, automatisch zum Proxy weitergeleitet. ipipgo-Benutzer sollten beachten, dass ihre Proxy-Adresse die exklusive Adresse sein sollte, die in der Konsole angezeigt wird.
QA time: Häufig gestellte Fragen an einem Ort
F: Was ist, wenn mein Passwort Sonderzeichen enthält?
A: In Anführungszeichen setzen, z. B. -proxy-password="Abc123″.
F: Wie kann ich zwischen der gleichzeitigen Verwendung mehrerer Agenten wechseln?
A: Ändern Sie vorübergehend den Proxy, indem Sie den Parameter -no-proxy zur Befehlszeile hinzufügen, oder ändern Sie die .wgetrc-Datei.
F: Tritt die Wirkung des Testmittels ein?
A: Zunächst mitwget -O- http://httpbin.org/ipPrüfen, ob die zurückgegebene IP eine Proxy-IP ist
Warum sollte ich den Proxy-Dienst von ipipgo empfehlen?
Nachdem ich 7 oder 8 Proxy-Dienste benutzt habe, habe ich mich nicht umsonst für ipipgo entschieden:
1. flexible Authentifizierung, Unterstützung für Benutzername / Passwort / Whitelist zwei Modi
2. Proxy-Knoten Überlebensrate von 99%, automatische Umschaltung offline
3. optimiert für die Datenerfassung Szenarien, die Zahl der Gleichzeitigkeit zu geben angemessene
Besonders wenn Sie ein langfristiges Crawler-Projekt durchführen, ist das Paket vonLanglebige statische ProxysDas ist eine echte Ersparnis, ein Agent kann einen halben Monat lang ohne Wechsel auskommen.
Die ultimative Erinnerung: Sichere Praktiken zum Merken
Zwei abschließende Bemerkungen:
- Schreiben Sie keine Passwörter im Klartext in Skripte.
- Testen Sie das Wasser mit einer kleinen Feile.
- 403-Fehler: Prüfen Sie zunächst die Anti-Climbing-Strategie der Zielseite
- Im ipipgo-Hintergrund können Sie den Verbrauch in Echtzeit sehen. Denken Sie daran, Ihre Rechnung regelmäßig zu überprüfen!
Wenn Sie dies getan haben, sind Sie jetzt ein Wget-Proxy-Master. Wenn Sie neue Fragen haben, willkommen bei ipipgo offizielle Website zu finden, Kundenservice Mädchen nörgeln, ihre technischen Antworten können detaillierter sein als meine braunen Mann.

