Beispiel für die Verwendung des cURL-Proxys: Command Line Crawling Tutorial

Sie lernen, wie man mit cURL den Proxy zum Abrufen von Daten aufhängt

Crawler sollten das alte Eisen verstehen, den direkten nackten Zugriff auf die Website in Minuten auf der gesperrten IP. Diesmal müssen wir die Proxy-IP dieser Wunderwaffe opfern, heute nehmen wir das Schweizer Taschenmesser in der Kommandozeile cURL zu demonstrieren, wie man die Proxy-IP verwenden, um sicher die Daten zu greifen.

Lassen Sie uns mit etwas Trockenem beginnen.Die Proxy-Server-Adresse für ipipgo sieht wie folgt aushttp://username:password@gateway.ipipgo.com:8020 Ersetzen Sie einfach den Benutzernamen und das Passwort durch die Authentifizierungsdaten Ihres Kontos. Notieren Sie sich diese Adresse, Sie müssen den Test später machen.

Agentenkonfiguration Triple Axe

Fügen Sie bei der Eingabe von Befehlen in das Terminal ein-xParameter den Proxy aufhängen kann. Ein Beispiel:

curl -x http://user123:pass456@gateway.ipipgo.com:8020 https://target-site.com/data.json

Hier ist etwas zu beachten.Drei wichtige PunkteDer Proxy-Typ sollte korrekt sein (http/https/socks5), der Port sollte nicht falsch geschrieben und die Authentifizierungsinformationen sollten nicht ausgelassen werden. Wenn der Fehlercode 407 zurückgegeben wird, ist wahrscheinlich das Passwort des Kontos falsch.

Mini-Theater zur Erfassung der realen Welt

Angenommen, Sie möchten den Preis einer E-Commerce-Site erfassen, dann verwenden Sie zunächst ipipgo'sTachymeter-SchnittstelleWählen Sie einen schnellen Knoten:

curl -x http://user:pass@gateway.ipipgo.com:8020 https://speedtest.ipipgo.com/latency

Die Tatsache, dass die Antwortzeit innerhalb von 200 ms liegt, zeigt, dass dieser Knoten schnell genug ist. Dann geht es an die eigentliche Aufgabe:

curl -x http://user:pass@gateway.ipipgo.com:8020
-H "Benutzer-Agent: Mozilla/5.0"
-L https://mall.com/product/12345
-o preis_daten.html

legen den Schwerpunkt aufDenken Sie daran, den Parameter -L hinzuzufügen, um die Umleitung automatisch zu verfolgen, und -o, um das Ergebnis in einer Datei zu speichern. Wenn ein Zertifikatsfehler auftritt, können Sie den Parameter -insecure hinzufügen, um die Überprüfung zu überspringen, aber die formale Umgebung sollte mit Vorsicht verwendet werden.

Erste-Hilfe-Kasten für schwierige Fälle

F: Was soll ich tun, wenn ich keine Verbindung zum Agenten herstellen kann?
A: Pingen Sie zuerst gateway.ipipgo.com an, um zu sehen, ob die Verbindung zustande kommt, und überprüfen Sie dann das Ablaufdatum des Kontos. Es wird empfohlen, ipipgo zu verwendenSchnittstelle zur Erkennung von Überlebenden:: https://status.ipipgo.com/checkip

F: Wie kann ich zwischen verschiedenen regionalen IPs wechseln?
A: Wählen Sie im ipipgo-Kontrollpanel den Zugangspunkt für die angegebene Region, z. B. wenn Sie den Shanghai-Knoten wollen, verwenden Sie sh.gateway.ipipgo.com:8030, denken Sie daran, dass die Ports in verschiedenen Regionen unterschiedlich sein können.

F: Was sollte ich tun, wenn ich häufig blockiert werde?
A: In der cURL-Befehl fügen Sie -proxy-negotiate Parameter, um die automatische Umschaltung zu aktivieren, mit ipipgo dynamische Rotation Service, jede Minute automatisch die IP zu ändern, gemessen Live-Rate kann mehr als 98% werden.

Private Tipps für Genießer

1. verwenden-connect-timeoutLegen Sie eine 5-Sekunden-Zeitüberschreitung fest und warten Sie nicht, bis der Knoten ausfällt.
2. schreiben Sie den Proxy-Parameter in die Konfigurationsdatei ~/.curlrc, damit Sie den Befehl nicht jedes Mal neu eingeben müssen.
(3) Wenn Sie einen https-Proxy benötigen, denken Sie daran, den Protokoll-Header auf https:// zu ändern.
4. unternehmensinterne Unterstützung für ipipgoAPI Dynamic Acquisition ProxyDer IP-Pool ist für Szenarien geeignet, die eine große Anzahl von IP-Pools erfordern.

Und schließlich, anon, ist ipipgo seit kurzem in derPay-per-Use-PaketIch bin nicht sicher, ob Sie ein neuer Benutzer sind, aber ich möchte Ihnen einen Versuch von 5G des Verkehrs zu geben. Die Qualität ihrer Wohn-Agent ist wirklich top, das letzte Mal öffnete ich 200 Threads zur gleichen Zeit nicht blockiert wurden, tun Datensammlung alten Bruder versuchen kann.