python http proxy server: Python baut HTTP-Proxy-Server

Praktische Anwendung von Python zur Erstellung eines Proxy-Staging-Bereichs

Vor kurzem haben viele Freunde, die Datenerfassung zu tun fragte Lao Zhang, wollen einen Proxy-Server zu werfen und Angst vor Ärger. Heute werden wir Python nehmen, um das Messer zu öffnen, kann das Ganze tatsächlich einen HTTP-Proxy-Service laufen. Keine Panik, auch wenn Sie ein Anfänger sind, folgen Sie den Schritten, um sicherzustellen, dass Sie tun können.

Warum sollten Sie Ihren eigenen Agenten bauen?

Wenn Sie beispielsweise eine Reihe von Proxy-IPs zu testen haben, können Sie diese nicht manuell einzeln konfigurieren, oder? Ihr eigener Dienst ist wie ein intelligenter Sortierer, der automatisch zwischen verschiedenen IPs zum Testen umschalten kann. Ein weiteres Beispiel ist, dass einige Dienste eine spezielle Protokollkonvertierung erfordern, für die die auf dem Markt erhältlichen fertigen Tools möglicherweise nicht geeignet sind.

Das ist der springende Punkt:

Die wichtigsten Vorteile von selbst erstellten Proxy-Servern sindVolle Kontrolle darüber, wohin der Verkehr fließt. Es steht Ihnen frei, Protokollierung, Anforderungsfilterung und andere benutzerdefinierte Funktionen hinzuzufügen, genauso wie das Anbringen von Überwachungskameras auf den Datenkanälen.

Bereiten Sie Ihre Sachen vor.

Wir verwenden das Modul http.server aus der Python-Standardbibliothek als Basis und installieren dann die Bibliothek requests, um die Anfragen zu bearbeiten. Öffnen Sie cmd und geben Sie dies ein:

Pip-Installationsanfragen

Legen Sie sich übrigens die API-Dokumentation für ipipgo zurecht, da Sie deren Proxy-Pool später für Tests verwenden müssen. Denken Sie daran, dass die Extraktionsadresse wie folgt aussieht:

https://api.ipipgo.com/getproxy?key=你的密钥

Grundlegende Proxy-Einrichtung

Zuerst die ganze Dose vorwärts Prototyp, 20 Zeilen Code, um es zu tun:

from http.server import BaseHTTPRequestHandler, HTTPServer

class ProxyHandler(BaseHTTPRequestHandler):: do_GET(self): do_GET(self).
    def do_GET(self).
         Hier passiert die Magie
        importiere Anfragen
        resp = requests.get(self.path,
                          proxies={'http': 'von ipipgo bereitgestellte Proxy-Adresse'})

        self.send_response(resp.status_code)
        for k,v in resp.headers.items()::
            self.send_header(k, v)
        self.send_header(k, v)
        self.wfile.write(resp.content)

server = HTTPServer(('', 8888), ProxyHandler)
server.serve_forever()

Nach der Ausführung setzt der Browser den Proxy auf 127.0.0.1:8888, und der Zugriff auf die Webseite erfolgt über die Proxy-IP von ipipgo. Diese Beggar's Edition ist einfach, aber vollständig.

Hinzufügen einiger nützlicher Verstärkungen für den Agenten

Die Basisversion ist nur ein Spielzeug, wir müssen etwas Reales hinzufügen:

1. automatische IP-Umschaltvorrichtung

def get_new_proxy().
     Ruft die API von ipipgo auf, um eine neue IP zu erhalten.
    return requests.get('ipipgo's API address').json()['proxy']

2. kleines Buch der Wünsche

Fügen Sie im Handler eine Schreibprotokollfunktion hinzu, um aufzuzeichnen, welche IP welche Website besucht hat, um die spätere Analyse der Erfolgsquote zu erleichtern.

3. durchflussbegrenzendes Ventil

Verwenden Sie das TIME-Modul, um die Übertragungsgeschwindigkeit zu kontrollieren und eine Überlastung der IP zu verhindern. Insbesondere bei der Verwendung einer dynamischen IP-Adresse für Privatanwender kann diese Funktion zusätzliche Kosten vermeiden.

Spielen mit dem ipipgo-Dienst

Ich muss hier mit den drei besten Dingen von ipipgo prahlen:

Ihre TK-Linie ist besonders leistungsfähig, wenn bestimmte Übersee-Geschäfte zu tun, vor einem Freund tun E-Commerce mit dieser Lösung, die Anfrage Erfolgsquote von 60% direkt auf 92% gestiegen.

Häufig gestellte Fragen zur Minenräumung

F: Was ist mit der schneckenartigen Geschwindigkeit des Agenten?
A: Prüfen Sie zunächst, ob Sie eine freie IP verwenden, und bestätigen Sie dann den Protokolltyp. Denken Sie daran, denselben geografischen Knoten zu wählen, wenn Sie die statische IP von ipipgo verwenden.

F: Der Code meldet einen SSL-Zertifikatsfehler?
A: Fügen Sie verify=False zu den Anfragen hinzu, aber dies wird für formale Umgebungen nicht empfohlen.

F: Wie wähle ich das richtige Paket?
A: die geringe Menge an Daten ausgewählt dynamischen Standard-Version, die Notwendigkeit für feste IP-Auswahl von statischen, Enterprise-Class hohe Gleichzeitigkeit direkt auf ihre Technologie maßgeschneiderte Lösungen zu finden

Vorgeschlagene Richtungen für die Aufrüstung

Treten Sie bei, wenn Sie professioneller werden wollen:
1. das Proxy-IP-Gesundheitsüberprüfungsmodul
2. automatischer Wiederholungsmechanismus für fehlgeschlagene Anfragen
3. die Statistik des Verkehrsverbrauchs
In der ipipgo-Entwicklerdokumentation gibt es für alle diese Fälle fertige Lösungen als Referenz.

Ein selbst gebauter Proxyserver ist wie ein Haustier: Sie müssen ihn regelmäßig warten und aktualisieren. Wenn Sie dazu zu faul sind, können Sie die vorgefertigten Client-Tools von ipipgo verwenden, um Zeit und Mühe zu sparen, und ihre Funktion zum IP-Wechsel mit einem Klick ist wirklich nett.