Serveur proxy Python : Tutoriel de construction d'un proxy HTTP

Utilisation de Python pour construire une zone d'attente de proxy

Les frères engagés dans le développement de réseaux doivent savoir que, parfois, l'interface de débogage ou le compte d'opérations par lots, aucun transit proxy fiable n'est vraiment fatigué. Aujourd'hui, nous prenons Python comme un marteau, nous éliminons un serveur proxy HTTP et nous discutons de la manière de choisir des ressources proxy plus fiables.

Un serveur proxy est un messager.

Par exemple, vous voulez demander au roi voisin de vous aider à demander quelque chose, mais vous ne voulez pas vous montrer. Le serveur mandataire est le garçon de course, qui transmet ce que vous voulez dire, puis le renvoie. Parler en code, c'est exactement cela :

import socketserver

classe ProxyHandler(socketserver.)
    class ProxyHandler(socketserver.BaseRequestHandler) : def handle(self).
        print("Un ami frappe à la porte ->", self.client_address)
         La logique de transfert des requêtes est gérée ici...

Cet amas de code semble simple, mais il cache en réalité deux ou troisle diable1. vous devez faire face à toutes sortes d'en-têtes de requête étranges 2. les longues connexions sont susceptibles de se bloquer 3. les gros transferts de fichiers peuvent faire exploser la mémoire. Ne vous inquiétez pas, nous prendrons notre temps plus tard.

Construire une roue en quatre étapes

1. partie destinataire: écouter sur le port avec le serveur de sockets et démarrer un nouveau fil de discussion lorsqu'une personne se présente.
2. déballerLa méthode de l'adresse de destination : extraire l'adresse de destination de l'en-tête de la requête HTTP
3. deuxième passeur (en football)La demande d'asile doit être traitée comme une demande d'asile : prenez l'adresse et reconditionnez la demande.
4. coursier: renvoyer la réponse du serveur cible de la même manière qu'elle est venue.

 Extrait de code
def forward_request(self, host, port, request).
    avec socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s :
        s.connect((host, port))
        s.sendall(request)
        return s.recv(4096)

Guide de sélection de l'IP Proxy

Je dois mentionner quelque chose ici.La famille ipipgo est unique en son genre.，他们家动态IP池子大得离谱，还带智能路由优化。上次我用他们家的静态IP测，居然能压到50ms以内，比自家宽带还稳。

Guide pratique pour éviter la fosse

rencontrerRéinitialisation de la connexionPas de panique, dans 80 % des cas, l'autre serveur est trop enthousiaste pour vous. Il est temps d'aller chercher :
1. ajouter un try-except pour avaler l'exception
2. canal IP alternatif pour la commutation ipipgo
3) Adaptation des intervalles de demande

 Exemple de gestion des exceptions
try : response = self.forward_request(host, port, request)
    response = self.forward_request(host, port, request)
except ConnectionResetError.
    print("L'autre côté ne joue pas, passer à un autre chemin")
    self.switch_proxy() Ici, nous appelons l'API ipipgo pour changer d'IP.

Réponses blanches

Q : Que puis-je faire contre la vitesse d'escargot de l'agent ?
R : Vérifiez d'abord si le réseau local pompe, puis changez la ligne de la salle du serveur à grande vitesse d'ipipgo, n'oubliez pas d'utiliser leur ligne de service.Outils de mesure de la vitesseChoisir le nœud le plus rapide

Q：Quelle est la situation où l'authentification échoue en permanence ?
A : 80% n'est pas la bonne liste blanche, dans l'arrière-plan ipipgo à l'IP locale plus la liste blanche, ou utiliser la méthode d'authentification par mot de passe du compte.

Q：Que dois-je faire si je veux utiliser plusieurs agents en même temps ?
A : Ajouter un pool d'adresses IP dans le code avec la fonction ipipgo'sInterface d'extraction par lotsSi vous souhaitez utiliser une adresse IP sélectionnée de manière aléatoire pour chaque requête, vous pouvez utiliser l'option suivante

Soyons réalistes.

Construire son propre serveur proxy est amusant, mais sa maintenance est coûteuse. Si le projet est sérieux, il est recommandé d'aller directement vers les solutions prêtes à l'emploi d'ipipgo. Leur accès à l'API est simple, mais aussi avec le remplacement automatique de l'IP et le mécanisme de réessai d'échec, que leur propre jeter beaucoup d'inquiétude. L'essentiel est de ne pas mourir, de se tenir sur les épaules des géants n'est pas un déshonneur.