HTTPX envoie des requêtes POST : utilisation de la bibliothèque HTTPX

Jeu de proxy pour HTTPX envoyant des requêtes POST

Engagés dans le crawling à l'ancienne, de nombreux sites sont désormais ajoutés au mécanisme anti-climbing. Cette fois, vous devez utiliser une IP proxy pouridentité de rotationpour éviter d'être victime de chantage de la part du site web cible. Utilisons aujourd'hui la bibliothèque HTTPX + le proxy ipipgo pour vous apprendre à jouer avec les requêtes POST.

Tout d'abord, il convient de comprendre ce qu'est HTTPX.

La bibliothèque HTTPX than requests est plus féroce, elle supporte HTTP/2 et les requêtes asynchrones. Par exemple, lorsque vous souhaitez enregistrer des comptes en masse ou soumettre des formulaires automatiquement, vous pouvez utiliser cette bibliothèque. Tout d'abord, installez la bibliothèque :

pip install httpx

Rédaction d'une requête POST de base

Le fonctionnement normal sans proxy se présente comme suit :

import httpx

resp = httpx.post(
    url="https://example.com/login",
    json={"nom d'utilisateur" : "test", "mot de passe" : "123456"}
)
print(resp.text)

Mais il est facile de se faire bloquer l'IP, cette fois-ci nous devons demander à notreService proxy ipipgoEn haut.

Mettre un "gilet" sur la demande.

Les IP proxy sont comme un gilet pour la requête, ici il est recommandé d'utiliser les IP proxy de ipipgo.Agent du tunnelLa méthode de configuration est simple pour le voleur :

proxies = {
    "http://" : "http://用户名:密码@TunnelAddress:Port",
    "https://" : "http://用户名:密码@tunneladdress:port"
}

avec httpx.Client(proxies=proxies) as client.
    resp = client.post("https://example.com/api", json={"data" : "test"})

Veillez à modifier le nom d'utilisateur et le mot de passe en fonction des informations d'authentification que vous avez obtenues dans le backend ipipgo, afin que l'IP soit modifiée automatiquement à chaque demande.

Comment choisir le type d'agent

Il existe plusieurs types d'agents sur le marché, comparons-les dans un tableau :

La grande réserve de proxies d'ipipgo a été testée pour être la plus discrète et convient particulièrement aux projets qui doivent fonctionner de manière stable sur une longue période.

Pièges courants AQ

Q : Que puis-je faire si la demande est toujours interrompue ?
R : Essayez d'ajuster le paramètre "timeout" et de vérifier la disponibilité de l'IP proxy. La console d'ipipgo dispose d'une fonction de surveillance en temps réel qui permet de localiser rapidement le nœud problématique.

Q : Que se passe-t-il si je dois changer fréquemment d'adresse IP ?
R : Il est recommandé d'utiliser le service de rotation dynamique d'ipipgo, dont l'API prend en charge la commutation automatique en fonction du nombre de demandes, et vous n'avez pas besoin de maintenir votre propre pool d'adresses IP.

Q : L'agent a-t-il besoin d'une authentification par mot de passe ?
R : Les services proxy d'ipipgo utilisent tous la liste blanche + la double authentification, ce qui est plus sûr que la simple vérification de l'adresse IP pour empêcher le vol par d'autres personnes.

Conseils avancés : bombardement asynchrone

Lorsque le moment est venu d'envoyer des requêtes POST sauvages, utilisez le mode asynchrone pour doubler directement l'efficacité :

import httpx
import asyncio

async def send_request(): : async avec httpx.
    async avec httpx.AsyncClient(proxies=proxies) as client :
        tasks = [client.post(url, json=data) for _ in range(100)]
        return await asyncio.gather(tasks)

asyncio.run(send_request())

Avec le pool de plusieurs millions d'adresses IP d'ipipgo, ce texte peut être facilement mis en œuvre.Des milliers de fois par seconde.des demandes de sécurité.

Une dernière remarque : ne vous contentez pas de regarder le prix lorsque vous choisissez un service de procuration. Les services comme ipipgo peuvent fournirAssistance technique 7×24 heuresLe site web de l'entreprise est une grande source d'informations pour les développeurs, de sorte que vous pouvez toujours trouver quelqu'un pour résoudre vos problèmes, ce qui est un réel soulagement. L'entreprise a également lancé récemment une formule de paiement au volume, particulièrement adaptée aux petits développeurs. Si vous êtes intéressé, vous pouvez consulter le site officiel.