Python Proxy Server: Aufbau eines HTTP Proxy Tutorials

Praktische Anwendung von Python zur Erstellung eines Proxy-Staging-Bereichs

Brüder in der Netzwerk-Entwicklung beschäftigt sollte wissen, manchmal Debugging-Schnittstelle oder Batch-Betrieb Konto, keine zuverlässige Proxy-Transit wirklich müde. Heute nehmen wir Python als Hammer, Klopfen aus einem HTTP-Proxy-Server, und darüber reden, wie man eine zuverlässige Proxy-Ressourcen zu wählen.

Ein Proxy-Server ist ein Bote.

Ein Beispiel: Sie möchten den König von nebenan bitten, Ihnen bei einer Frage zu helfen, aber Sie möchten nicht selbst erscheinen. Der Proxy-Server ist der Botenjunge, der das, was Sie sagen wollen, weitergibt und dann zurücksendet. In Codes zu sprechen ist genau das:

Socketserver importieren

class ProxyHandler(socketserver.)
    class ProxyHandler(socketserver.BaseRequestHandler): def handle(self).
        print("Ein Freund klopft an die Tür ->", self.client_address)
         Die Logik zur Weiterleitung der Anfrage wird hier behandelt...

Dieser Haufen Code sieht einfach aus, verbirgt aber in Wirklichkeit eine Reihe vonder Teufel1. Sie müssen sich mit allerlei seltsamen Anfrage-Headern herumschlagen 2. lange Verbindungen sind anfällig für Störungen 3. große Dateiübertragungen können den Speicher sprengen. Keine Sorge, wir werden uns später Zeit nehmen.

Bauen Sie ein Rad in vier Schritten

1. empfangende Partei: auf dem Port mit dem Socketserver lauschen und einen neuen Thread starten, wenn eine Person hereinkommt
2. auspacken: Entnahme der Zieladresse aus dem HTTP-Anfragekopf
3. zweiter Passgeber (im Fußball)Nehmen Sie die Adresse und verpacken Sie die Anfrage neu.
4. Kurier: die Antwort des Zielservers auf demselben Weg zurückschicken, auf dem sie gekommen ist.

 Codeschnipsel
def forward_request(self, host, port, request).
    with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
        s.connect((host, port))
        s.sendall(Anfrage)
        return s.recv(4096)

Proxy-IP-Auswahlhilfe

Ich muss hier etwas erwähnen.Die ipipgo-Familie ist ein Unikat.Der dynamische IP-Pool ist lächerlich groß und kommt mit intelligenter Routenoptimierung. Letztes Mal habe ich ihre statische IP verwendet, um die Latenz zu messen, kann tatsächlich auf 50 ms oder weniger gedrückt werden, stabiler als ihr eigenes Breitband.

Praktischer Leitfaden zur Vermeidung der Grube

stoßenZurücksetzen der VerbindungKeine Panik, in 80% der Fälle ist der andere Server zu enthusiastisch für Sie. Es ist Zeit zu gehen:
1. ein try-except hinzufügen, um die Ausnahme zu verschlucken
2. alternativer IP-Kanal für ipipgo-Vermittlung
3. die Anpassung der Abfrageintervalle

 Beispiel für die Behandlung von Ausnahmen
try: response = self.forward_request(host, port, request)
    response = self.forward_request(host, port, request)
except ConnectionResetError.
    print("Die andere Seite spielt nicht mit, wechseln Sie zu einem anderen Pfad")
    self.switch_proxy() Hier rufen wir die ipipgo API auf, um die IPs zu wechseln.

Weiße Antworten

F: Was kann ich gegen die schneckenartige Geschwindigkeit des Agenten tun?
A: Prüfen Sie zunächst, ob das lokale Netzwerk Pumpen, und ändern Sie dann ipipgo's High-Speed-Server Raum Linie, denken Sie daran, ihre VerwendungWerkzeuge zur GeschwindigkeitsmessungWählen Sie den schnellsten Knoten

Q：Was ist, wenn die Authentifizierung immer wieder fehlschlägt?
A: 80% ist nicht die richtige Whitelist, in der ipipgo Hintergrund, um die lokale IP plus Whitelist, oder verwenden Sie das Konto Passwort-Authentifizierung Modus

Q：Was muss ich tun, wenn ich mehr als ein Mittel gleichzeitig verwenden möchte?
A: Fügen Sie eine IP-Pool-Abfrage im Code mit ipipgo'sSchnittstelle für Batch-ExtraktionWenn Sie für jede Anfrage eine zufällig ausgewählte IP verwenden möchten, können Sie

Seien wir realistisch.

Es macht Spaß, einen eigenen Proxyserver zu bauen, aber er ist nicht billig im Unterhalt. Wenn es sich um ein ernsthaftes Projekt handelt, empfiehlt es sich, direkt auf fertige Lösungen von ipipgo zurückzugreifen. Ihre API-Zugang ist einfach, aber auch mit automatischer IP-Ersatz und Ausfall Wiederholung Mechanismus, als ihre eigenen werfen eine Menge Sorgen. Der Schlüssel Zeit nicht sterben, stehen auf den Schultern der Riesen ist keine Schande.