Curl Basic Authentication: Beispiel für eine autorisierte Anfrage

Handyman zeigt, wie man mit Proxy-IP-Anfragen und Passwörtern mit curl spielt

Was fürchten Crawler am meisten? Nur zwei Minuten nach der Erfassung der IP wird blockiert! Diesmal ist die Proxy-IP Ihr Lebensretter. Heute werden wir die häufigste curl-Befehl zu starten, sagen, wie das Konto Passwort durch den Proxy zu nehmen, um die Website zugreifen.

Lassen Sie sich von der Basiszertifizierung nicht abschrecken.

Viele Websites sind wie Ticketschalter in einem Vergnügungspark, man muss dieBenutzername + PasswortWenn Tickets. Denken Sie an dieses universelle Format, wenn Sie curl verwenden:

curl -U "Konto:Passwort" http://目标网址

Aber aufgepasst! Das ist das Äquivalent dazu, dass Sie Ihr Passwort in aller Öffentlichkeit schreiben, und wenn Sie einen Proxy benutzen... (mehr dazu später)

Der richtige Weg zur Eröffnung einer Proxy-IP

Wenn Sie den Proxy von ipipgo als Beispiel nehmen (sein Proxy mit Authentifizierung), müssen Sie die Authentifizierungsinformationen eingebenAnschrift des Bevollmächtigten::

curl -x http://用户名:密码@proxy.ipipgo.cn:8080 http://目标网站

Jetzt kommt der Punkt!Verwenden Sie keine Sonderzeichen für Benutzername und Passwort, vor allem @ und diese, explodieren Ihre Anfrage in Minutenschnelle an Ort und Stelle.

Praktisch: Crawler Old Driver's Guide

Nehmen wir an, Sie haben bei ipipgo ein kurzfristiges Paket gekauft, um den Preis für eine E-Commerce-Site zu erfassen:

curl -x http://vipuser:8k9d!m2@proxy.ipipgo.cn:3128
-H "Benutzer-Agent: Mozilla/5.0"
https://target-site.com/products

Beachten Sie die drei Punkte:

Allgemeine Erste-Hilfe-Ausrüstung für Überschlagssituationen

F: Was soll ich tun, wenn ich keine Verbindung zum Agenten herstellen kann?
A: Führen Sie diesen Befehl aus, um das Netzwerk zunächst zu testen:telnet proxy.ipipgo.co.uk 3128Um das Wort Verbunden zu sehen

F: Wird immer ein Zertifikatsfehler angezeigt?
A: Am Ende des Curls hinzufügen-kParameter, aber verwenden Sie diese nicht für sensible Vorgänge

F: Welches ipipgo-Paket ist am günstigsten?
A: Zum KrabbelnDynamische WohnungsvermittlerDer Registrierungsprozess.Langlebige statische IPVergessen Sie nicht, den Promo-Code IPGO7 zu verwenden, mit dem Sie als Neukunde 30% Rabatt auf Ihre erste Bestellung erhalten.

Tipps von den Besten der Besten

1. schreiben Sie die Proxy-Konfiguration in~/.curlrcDatei, so dass Sie den Befehl nicht jedes Mal neu eingeben müssen:
proxy = http://用户:密码@proxy.ipipgo.cn:端口

2. wenn Sie die Proxy-IP ändern müssen, verwenden Sie ipipgo'sAPI-SchnittstelleDynamische Akquisition:
curl api.ipipgo.com/getproxy?token=Ihr Schlüssel

Denken Sie daran, ein guter Proxy ist wie Benzin für einen Sportwagen, und ein Anbieter wie ipipgo, der über einen eigenen Serverraum verfügt, ist viel stabiler als diese Proxys aus zweiter Hand. Kürzlich haben sie eineBewegung kann vorgetragen werdenDie Kampagnen, die nicht auslaufen, können im nächsten Monat wieder aufgebaut werden, insbesondere für Teams mit unbeständigen Projekten.