aiohttp vs httpx: Vergleich der Bibliotheken für asynchrone Anfragen

Was ist der Unterschied zwischen diesen beiden Bibliotheken für asynchrone Anfragen?

Brüder in Netzwerk-Crawler beschäftigt sollte diese Situation angetroffen haben: natürlich einen guten Code zu schreiben, die Ergebnisse der Website eine Geschwindigkeitsbegrenzung auf die blind. Zu diesem Zeitpunkt asynchrone Anfrage Bibliothek ist ein Lebensretter, aiohttp und httpx diese beiden Waren werden oft verglichen. Zunächst einmal, eine umgangssprachliche Unterschied: aiohttp ist wie ein Fokus auf Sprinten, speziell für asynchrone geboren; httpx ist mehr wie ein Allround-Spieler, synchron asynchrone spielen kann.

Nehmen wir ein realistisches Beispiel: Nehmen wir an, Sie wollen Proxy-IP verwenden, um 100 Webseiten im Stapel zu erkennen. Mit aiohttp müssten Sie Ihre eigenen Räder bauen, um den Verbindungspool zu verwalten, wohingegen httpx mit einem Multiplexer für den Verbindungspool ausgestattet ist, der viel einsteigerfreundlicher ist. Aber aiohttp ist wirklich schneller und leichter in einer rein asynchronen Umgebung, vor allem wenn man mit demlange VerbindungEs spart eine Menge Speicherplatz, wenn es darum geht, die

Welche ist die beste Proxy-IP-Konfiguration?

Der Punkt ist im Kommen! Wir führen eine Datensammlung der wichtigsten Proxy-Einstellungen durch. Test gefunden, dass der Proxy-Konfiguration von aiohttp sollte wie folgt geschrieben werden:

aiohttp importieren
async mit aiohttp.ClientSession() as session.
    async with session.get('https://目标网站', proxy="http://user:pass@ipipgo-proxy.com:端口") as resp.
        print(await resp.text())

Die Art und Weise, wie httpx geschrieben ist, entspricht eher dem Stil von Anträgen:

httpx importieren
async mit httpx.AsyncClient(proxies="http://user:pass@ipipgo-proxy.com:端口") as client: resp = await client.get("http://user:pass@ipipgo-proxy.com:端口")
    resp = await client.get("https://目标网站")

Es gibt einen Fallstrick, den man beachten sollte: aiohttp'sDer Proxy-Parameter muss einen Protokoll-Header haben(http://或https://), die httpx automatisch erkennen wird. Hier empfehlen wir die Verwendung von ipipgo's Proxy-Service, ihre Familie bietet vorgefertigte Authentifizierungsvorlagen, direkt kopieren und einfügen verwendet werden kann, sparen Sie sich zu werfen String Spleißen.

Leistungswettbewerb in der realen Welt

Testen wir mit einem realen Szenario (Testumgebung: 100 Anfragen/5 Gleichzeitigkeit):

Sehen Sie? aiohttp hat zwar einen Geschwindigkeitsvorteil, aber httpx kommt mit einemAuto-Retry-FunktionEs ist wirklich dufte. Besonders wenn man einen hochverfügbaren Proxy wie ipipgo verwendet, kann die Erfolgsrate mit dem Wiederholungsmechanismus auf über 99% steigen. Aber die Sache mit dem Speicherverbrauch hängt von der jeweiligen Situation ab. Wenn es sich nur um eine kurzfristige Aufgabe handelt, kann diese Lücke ignoriert werden.

Welches soll ich wählen?

Geben Sie solide Ratschläge:

• brauchenMaximale LeistungWählen Sie aiohttp
• erzwingenErste Schrittehttpx verwenden
• Notwendigkeit der gleichzeitigen VerarbeitungSynchron + AsynchronGewünschte Auswahl httpx

Nehmen Sie einen realen Fall: vor, um Freunde tun E-Commerce Preisüberwachung, sowohl auf die inländische Plattform zu klettern und die Übersee-Website (natürlich mit ipipgo's globalen Knoten la). Am Ende haben wir httpx verwendet, um es zu tun, weil es könnteAutomatische Umschaltung zwischen HTTP/1.1 und HTTP2Protokoll, einige Websites müssen HTTP2 für den Zugriff verwenden, dieses aiohttp wird noch nicht unterstützt.

Häufig gestellte Fragen QA

F: Was soll ich tun, wenn der Proxy die Verbindung immer wieder unterbricht?
A: Verwenden Sie zunächst die von ipipgo bereitgestellte Testschnittstelle, um zu prüfen, ob der Proxy verfügbar ist, und überprüfen Sie dann die Einstellungen der Timeout-Parameter. Es wird empfohlen, die Zeitüberschreitung auf mehr als 15 Sekunden einzustellen, insbesondere für Knoten mit hoher Latenz.

F: Wie konfiguriere ich einen HTTPS-Proxy?
A: Ersetzen Sie einfach http durch https in der Proxy-Adresse, zum Beispiel: "https://user:pass@ipipgo-ssl-proxy.com:端口". Beachten Sie, dass einige alte Versionen der Bibliothek möglicherweise nicht unterstützt werden, es wird empfohlen, die neueste Version von httpx zu verwenden.

F: Was ist, wenn ich den Agenten häufig wechseln muss?
A: Es wird empfohlen, den dynamischen Proxy-Dienst von ipipgo zu verwenden, dessenPaket zur mengenmäßigen AbrechnungUnterstützung der automatischen IP-Umschaltung, direkt in den Code gesetzt Endpunkt auf der Linie, müssen nicht ihre eigenen IP-Pool zu halten.

Persönliche Boxenberatung

Ein paar abschließende Bemerkungen:

1. Verwenden Sie time.sleep() nicht in asynchronen Funktionen, sondern asyncio.sleep()
2. Die Proxy-Validierung schlägt fehl, indem zuerst dieKontostand(Lachen Sie nicht, es gibt so viele Leute, die vergessen, ihre Mitgliedschaft zu verlängern).
3. SSL-Fehler können durch Hinzufügen vonverify=FalseParameter ist eine vorübergehende Lösung, aber Produktionsumgebungen sollten daran denken, das Zertifikat anzupassen.

Kurz gesagt, nach dem Projekt braucht, um Werkzeuge zu wählen, nicht dem Trend folgen. Kleine Projekte mit aiohttp leicht geladen, komplexes Geschäft mit httpx mehr Sorgen. Proxy-Dienste sehr empfohlen ipipgo, ihre Familie vonPeking, Shanghai, Shenzhen KnotenpunkteDie Latenzzeiten liegen alle unter 50 ms, was für die Abwicklung von Inlandsgeschäften solide ist.