HTTPX sendet POST-Anfragen: Verwendung der HTTPX-Bibliothek

Proxy-Spiel für HTTPX, das POST-Anfragen sendet

Engagiert in Crawling alten Eisen wissen, sind jetzt viele Websites, um die Anti-Climbing-Mechanismus hinzugefügt. Dieses Mal müssen Sie einen Proxy-IP zu verwendenDrehungsidentitätum zu verhindern, dass Sie von der Ziel-Website erpresst werden. Lassen Sie uns heute die HTTPX-Bibliothek und den ipipgo-Proxy verwenden, um Ihnen zu zeigen, wie man mit POST-Anfragen spielt.

Zuallererst sollten wir verstehen, was HTTPX ist.

HTTPX als Anfragen Bibliothek ist heftiger, Unterstützung für HTTP / 2 und asynchrone Anfragen. Zum Beispiel, wenn Sie Konten in der Masse registrieren oder Formulare automatisch übermitteln möchten, können Sie diese Bibliothek verwenden. Installieren Sie zunächst die Bibliothek:

pip install httpx

Schreiben einer einfachen POST-Anfrage

Der reguläre Betrieb ohne einen Agenten sieht folgendermaßen aus:

httpx importieren

resp = httpx.post(
    url="https://example.com/login",
    json={"benutzername": "test", "passwort": "123456"}
)
print(resp.text)

Aber es ist leicht, eine gesperrte IP zu bekommen, dieses Mal müssen wir unsereipipgo-Proxy-DienstAuf.

Legen Sie eine "Weste" über den Antrag.

Proxy-IPs sind wie eine neue Weste für die Anfrage, hier empfehlen wir die Verwendung von ipipgo'sTunnel-AgentDie Konfigurationsmethode ist für den Dieb einfach:

proxies = {
    "http://": "http://用户名:密码@TunnelAddress:Port",
    "https://": "http://用户名:密码@tunneladdress:port"
}

with httpx.Client(proxies=proxies) as client.
    resp = client.post("https://example.com/api", json={"data": "test"})

Achten Sie darauf, den Benutzernamen und das Passwort auf die Authentifizierungsdaten zu ändern, die Sie im ipipgo-Backend erhalten haben, damit die IP bei jeder Anfrage automatisch geändert wird.

Wie wählt man den Agententyp aus?

Es gibt verschiedene Arten von Mitteln auf dem Markt, die wir in einer Tabelle vergleichen wollen:

Der hohe Bestand an Proxies von ipipgo wurde als am verdecktesten getestet und ist besonders für Projekte geeignet, die über einen längeren Zeitraum stabil laufen müssen.

Häufige Fallstricke QA

F: Was kann ich tun, wenn die Anfrage immer wieder unterbrochen wird?
A: Versuchen Sie, den Timeout-Parameter anzupassen und die Verfügbarkeit der Proxy-IP zu überprüfen. Die ipipgo-Konsole verfügt über eine Echtzeit-Überwachungsfunktion, mit der der Problemknoten schnell lokalisiert werden kann.

F: Was ist, wenn ich die IP-Adresse häufig wechseln muss?
A: Es wird empfohlen, den dynamischen Rotationsservice von ipipgo zu nutzen, dessen API eine automatische Umschaltung je nach Anzahl der Anfragen unterstützt, und Sie müssen keinen eigenen IP-Pool unterhalten.

F: Benötigt der Agent eine Kontopasswort-Authentifizierung?
A: Die Proxy-Dienste von ipipgo verwenden alle Whitelisting + doppelte Authentifizierung, was sicherer ist als eine einfache IP-Verifizierung, um Diebstahl durch andere zu verhindern.

Tipps für Fortgeschrittene: Asynchrones Bombardement

Wenn es an der Zeit ist, wilde POST-Anfragen zu senden, verwenden Sie den asynchronen Modus, um die Effizienz direkt zu verdoppeln:

httpx importieren
importieren asyncio

async def send_request():: async with httpx.
    async with httpx.AsyncClient(proxies=proxies) as client:
        tasks = [client.post(url, json=data) for _ in range(100)]
        return await asyncio.gather(tasks)

asyncio.run(send_request())

Zusammen mit dem millionenfachen IP-Pool von ipipgo lässt sich dieses Schreiben leicht umsetzenTausende von Malen pro Sekunde.von Sicherheitsanfragen.

Ein letzter Ratschlag: Achten Sie bei der Auswahl eines Proxy-Dienstes nicht nur auf den Preis. Anbieter wie ipipgo können7×24 Stunden technische UnterstützungDie Website des Unternehmens ist eine große Quelle von Informationen für Entwickler, so dass Sie immer jemanden finden, um Ihre Probleme zu lösen, die eine echte Erleichterung ist. Sie kamen auch vor kurzem aus der Pay-per-Volume-Paket, besonders freundlich zu kleinen Entwicklern, Interesse an der alten Eisen kann auf der offiziellen Website gehen, um einen Blick zu nehmen.