Wie kann man API-Anfragen über eine Curl-Datei im Stapel verarbeiten?

Praktische API-Automatisierung mit curl-Dateien

In letzter Zeit haben mich viele meiner Freunde, die Daten crawlen, gefragt.Wie man Hunderte von API-Anfragen gleichzeitig bearbeitet, ohne IPs zu blockierenWas ist das? Diese Sache ist nicht schwer zu sagen, der Schlüssel zu wissen, ein wenig Batch-Verarbeitung Fähigkeiten. Heute werden wir den am häufigsten verwendeten curl-Befehl verwenden, mit ipipgo Proxy-Service, lehren Sie, wie man API-Anfragen wie eine Fabrik Fließband verarbeiten.

Bereiten Sie Ihre Sachen vor.

Zunächst müssen Sie drei Dinge zur Hand haben:

1. die Kommandozeilenumgebung von curl installieren.(Windows verwendet PowerShell, Mac öffnet direkt ein Terminal)
2. im Voraus erstellte Liste der API-Adressen(gespeichert als txt-Datei, eine URL pro Zeile)
3. dynamischer Proxy-Pool für ipipgo(Es wird empfohlen, das s5-Protokoll zu verwenden, das die Authentifizierung durch ein Konto-Passwort vorsieht)

Vier Schritte zum eigentlichen Kampf

Nehmen wir die Wettervorhersage-API als Beispiel: Angenommen, wir möchten das Wetter für 50 Städte in einer großen Menge abfragen:

Schritt 1: Erstellen der Anforderungsdatei

Erstellen Sie eine neue weather_apis.txt mit einem Inhalt, der wie folgt aussieht:

http://api.weather.com/beijing
http://api.weather.com/shanghai
... (andere Städte)

Schritt 2: Schreiben des Schleifenskripts

Geben Sie diesen Befehl in das Terminal ein:

while read url; do
  curl -x socks5://user:pass@proxy.ipipgo.net:24000 "$url"
done < wetter_apis.txt

Achten Sie hier darauf, dass Sie sie durch diejenige ersetzen, die Sie im ipipgo-Backend haben.Passwort für echtes KontoDie Portnummer hängt auch vom jeweiligen Pakettyp ab.

Schritt 3: Verarbeitung der Ergebnisse

Fügen Sie einen Ausgabeparameter hinzu, wenn Sie die zurückgegebenen Daten speichern möchten:

curl -x ... -o "output_$(Datum +%s).json"

Bei diesem Schreibvorgang werden für jedes Ergebnis separate Dateien mit Zeitstempeln erzeugt, um ein Überschreiben der Daten zu vermeiden.

Schritt 4: Überwachung von Anomalien

Ältere Treiber bieten einen Mechanismus zur Wiederholung von Fehlern:

curl --retry 3 --retry-delay 5 ...

Das bedeutet, dass es nicht automatisch dreimal versucht wird, jedes Mal mit einem Intervall von 5 Sekunden, und dies funktioniert besonders gut für instabile APIs.

Häufige Fallstricke QA

F: Warum werde ich nach der Verwendung eines Proxys immer noch blockiert?
A：Prüfen Sie, ob die Proxy-IP wiederholt verwendet wird, ipipgo Hintergrund kann auf "jede Anfrage für IP" eingestellt werden, schalten Sie diesen Schalter ein!

F: Wie kann ich die Häufigkeit der Anfragen kontrollieren?
A: Fügen Sie den Befehl sleep in die Schleife ein, z. B. Stopp für 1 Sekunde nach jeweils 10 Anfragen:

if (( $count % 10 == 0 )); then sleep 1; fi

F: Was soll ich tun, wenn die zurückgegebenen Daten verstümmelt sind?
A: Fügen Sie einen Parameter für die Zeichenkodierung zu curl hinzu:

curl --compressed -H "Accept-Encoding: gzip" ...

Tipps zur Leistungsoptimierung

Wenn Sie Tausende von Anfragen bearbeiten müssen und ein einzelner Thread zu langsam ist, können Sie diexargs-Befehl zum Öffnen mehrerer Threads::

cat apis.txt | xargs -P 8 -I {} curl -x ... {}

Das -P 8 bedeutet, dass 8 Threads gleichzeitig laufen, passen Sie es an die Konfiguration Ihres Computers an. Vergessen Sie nicht, die "Concurrency"-Quote in der ipipgo-Konsole zu erhöhen, sonst sind Sie eingeschränkt.

Eine letzte Erinnerung.Bei Massenanfragen sollten immer die Nutzungsbedingungen der Ziel-Website beachtet werdenLegen Sie nicht die Server anderer Leute lahm. Mit den rotierenden IPs von ipipgo werden nicht nur Sperren vermieden, sondern der IP-Pool wird auch häufig genug aktualisiert, um im Grunde eine neue IP für jede Anfrage zu garantieren.