python http proxy server : serveur proxy HTTP construit en Python

Utilisation de Python pour construire une zone d'attente de proxy

Récemment, de nombreux amis qui font de la capture de données ont demandé à Lao Zhang, veulent lancer un serveur proxy et ont peur des problèmes. Aujourd'hui, nous allons prendre Python pour ouvrir le couteau, l'ensemble peut réellement exécuter un service proxy HTTP. Pas de panique, même si vous êtes un débutant, suivez les étapes pour vous assurer que vous pouvez le faire.

Pourquoi créer son propre agent ?

Par exemple, si vous avez un lot d'IP proxy à tester, vous ne pouvez pas les configurer manuellement une par une, n'est-ce pas ? Votre propre service est comme une trieuse intelligente, qui peut automatiquement basculer entre les différentes IP à tester. Un autre exemple est que certains services nécessitent une conversion de protocole spécifique, les outils prêts à l'emploi sur le marché peuvent ne pas être adaptés à l'appétit.

C'est là que le bât blesse :

Les principaux avantages des serveurs proxy auto-construits sont les suivantsContrôle total de la destination du trafic. Vous êtes libre d'ajouter la journalisation, le filtrage des demandes et d'autres fonctions personnalisées, tout comme l'installation de caméras de surveillance sur les canaux de données.

Préparez vos affaires.

Utilisons le module http.server de la bibliothèque standard Python pour la base, puis installons la bibliothèque requests pour gérer les requêtes. Ouvrez cmd et tapez ceci :

pip install requests

D'ailleurs, préparez la documentation de l'API pour ipipgo, vous aurez besoin d'utiliser leur pool de proxy pour les tests plus tard. Rappelez-vous que leur adresse d'extraction ressemble à ceci :

https://api.ipipgo.com/getproxy?key=你的密钥

Configuration de base du proxy

Tout d'abord, le prototype de l'ensemble de la boîte de conserve, 20 lignes de code pour y parvenir :

from http.server import BaseHTTPRequestHandler, HTTPServer

class ProxyHandler(BaseHTTPRequestHandler): : do_GET(self) : do_GET(self).
    def do_GET(self).
         C'est ici que la magie opère
        import requests
        resp = requests.get(self.path,
                          proxies={'http' : 'adresse proxy fournie par ipipgo'})

        self.send_response(resp.status_code)
        for k,v in resp.headers.items(): :
            self.send_header(k, v)
        self.send_header(k, v)
        self.wfile.write(resp.content)

server = HTTPServer(('', 8888), ProxyHandler)
server.serve_forever()

Après l'avoir lancé, le navigateur définit le proxy sur 127.0.0.1:8888, et l'accès à la page web passe par l'IP proxy d'ipipgo. Cette édition pour mendiants est simple mais complète.

Ajouter quelques améliorations utiles à l'agent

La version de base n'est qu'un jouet, nous devons y ajouter quelque chose de concret :

1) Dispositif de changement automatique d'IP

def get_new_proxy().
     Appelle l'API d'ipipgo pour obtenir une nouvelle IP.
    return requests.get('ipipgo's API address').json()['proxy']

2. petit livre des requêtes

Ajouter une fonction d'écriture dans le gestionnaire pour enregistrer quelle IP a visité quel site web, afin de faciliter l'analyse ultérieure du taux de réussite.

3. vanne de limitation de débit

Utilisez le module TIME pour contrôler la vitesse de transmission et éviter de surcharger l'IP. Cette fonction permet d'éviter des frais supplémentaires, notamment en cas d'utilisation d'une IP résidentielle dynamique.

Jouer avec le service ipipgo

Je me dois de vanter les trois meilleures choses d'ipipgo ici :

Leur ligne TK est particulièrement puissante dans le cadre de certaines activités à l'étranger. Avant qu'un ami ne fasse du commerce électronique avec cette solution, le taux de réussite des demandes est passé directement de 60% à 92%.

Questions fréquemment posées sur le déminage

Q : Qu'en est-il de la vitesse de l'agent, qui ressemble à celle d'un escargot ?
R : Vérifiez d'abord si vous utilisez une IP gratuite, puis confirmez le type de protocole. N'oubliez pas de sélectionner le même nœud géographique lorsque vous utilisez l'IP résidentielle statique d'ipipgo.

Q : Le code signale une erreur de certificat SSL ?
R : Ajoutez verify=False aux demandes, mais cela n'est pas recommandé pour les environnements formels.

Q : Comment choisir le bon paquet ?
R : la petite quantité de données sélectionnées dynamique version standard, la nécessité pour l'IP fixe sélection de statique, la classe d'entreprise haute concurrence directement à trouver leur technologie des solutions personnalisées.

Instructions suggérées pour la mise à niveau

Adhérez si vous voulez être plus professionnel :
1. module de contrôle de l'état de santé de l'IP du proxy
2. mécanisme de relance automatique en cas d'échec de la demande
3. les statistiques de consommation de trafic
Il existe des solutions prêtes à l'emploi pour ces problèmes dans la documentation du développeur d'ipipgo.

Enfin, un serveur proxy construit par vos soins est comme un animal de compagnie : vous devez l'entretenir et le mettre à jour régulièrement. Si vous êtes trop paresseux pour le faire, vous pouvez utiliser les outils clients prêts à l'emploi d'ipipgo pour vous épargner du temps et des efforts, et leur fonction de changement d'IP en un clic est vraiment sympa.