http-Proxyserver: Strategie zur Einrichtung eines HTTP-Proxyservers

Praktische Erfahrung mit HTTP-Proxy-Servern

In letzter Zeit haben sich viele Freunde, die Daten sammeln, an mich gewandt und sich beschwert, dass die Anti-Climbing-Website immer heftiger wird. Letzte Woche schrieb der alte König gerade ein gutes Crawler-Skript, diese Woche wird nicht in der Lage sein, die Daten zu fangen. In der Tat, diese Sache, die Einrichtung eines HTTP-Proxy-Server gelöst werden kann. Heute werden wir nag, wie man einen Proxy-Server zu bekommen, durch die Art und Weise, eine zuverlässige Proxy-Service-Provider.

Was ist eigentlich ein Proxyserver?

Einfach ausgedrückt, handelt es sich um einen Mittelsmann, der Webanfragen für Sie weiterleitet. Wenn Sie beispielsweise auf eine bestimmte Website zugreifen möchten, lassen Sie den Proxyserver zunächst an die Tür klopfen, und er leitet die Daten zurück und an Sie weiter. Dies hat zwei Vorteile:Die eine besteht darin, die echte IP zu verbergen(math.) GattungZweitens: Durchbrechen von ZugangsbeschränkungenEs handelt sich nicht um einen besonderen Vorgang. Beachten Sie, dass sich die Zugangsbeschränkung hier auf die Begrenzung der Häufigkeit von Anfragen von bestimmten Websites auf eine einzige IP bezieht, nicht auf einen besonderen Vorgang.

Do-It-Yourself-Agenten

Hier erfahren Sie, wie Sie Pythonshttp.serverModule, um eine Kastanie zu geben. Installieren Sie zunächst eine dreiteilige Bibliothek:

pip install PySocks

Erstellen Sie dann eine neueproxy_server.pyDokumentation:

socketserver importieren
http.server importieren

PORT = 3128
class MyProxy(http.server.SimpleHTTPRequestHandler):: def do_GET(self).
    SimpleHTTPRequestHandler. def do_GET(self).
        self.send_response(200)
        self.end_headers()

if __name__ == '__main__': with socketserver.
    with socketserver.ThreadingTCPServer(('', PORT), MyProxy) as httpd.
        print("Proxy läuft, Port:", PORT)
        httpd.serve_forever()

Sobald es läuft, geben Sie die Browsereinstellungen ein127.0.0.1:3128Es wird funktionieren. Allerdings ist dieser Spielzeug-Agent nur zum Testen gedacht, und für die Produktionsumgebung müssen Sie wirklich eine professionelle Lösung verwenden.

Der richtige Weg zur Eröffnung eines professionellen Spielers

Einen Proxyserver selbst zu betreuen ist zu viel Arbeit, deshalb hier eine gute Empfehlungipipgovon vorgefertigten Dienstleistungen. Ihr Haus hat drei besonders nützliche Achsen:

Die Verwendung ihrer API zum Extrahieren von Proxy-IPs ist äußerst praktisch, um es mal so auszudrücken:

Einfuhrgesuche

proxy = {
    'http': 'http://用户名:密码@gateway.ipipgo.com:端口',
    'https': 'http://用户名:密码@gateway.ipipgo.com:端口'
}

response = requests.get('Zielsite', proxies=proxy)

Praktischer Leitfaden zur Vermeidung der Grube

1. Geraten Sie nicht in Panik, wenn Ihr Proxy ausfällt.Es wird empfohlen, für jede Anfrage 3-5 IPs nach dem Zufallsprinzip als Reserve auszuwählen.
2. Timeout-Einstellungen sind wichtigTimeout: Verwenden Sie nicht den Standard-Timeout, sondern passen Sie ihn auf 3-10 Sekunden an, je nach Geschäftsszenario.
3. Denken Sie daran, die Kopfzeile der Anfrage zu verschleiernDenken Sie daran, den User-Agent häufig zu ändern, und verwenden Sie nicht diese beschissenen Felder!

Häufig gestellte Fragen QA

F: Wie wähle ich zwischen einer dynamischen IP und einer statischen IP?
A: müssen eine langfristige Login-Status zu halten wählen statische, gewöhnliche Sammlung mit dynamischen mehr kostengünstig

F: Was sollte ich tun, wenn mir 403 verboten wird?
A: Prüfen Sie zunächst, ob der Request-Header vollständig ist oder nicht, und versuchen Sie dann eine andere IP. Verwenden Sie das Enterprise-Paket von ipipgo für eine höhere Erfolgsquote!

F: Wie kann ich feststellen, ob eine Vollmacht in Kraft ist?
A: Besuchehttp://httpbin.org/ipPrüfen Sie, ob sich die zurückgegebene IP ändert

Ein letzter Ratschlag: Achten Sie bei der Auswahl eines Proxy-Dienstes nicht nur auf den Preis. Anbieter wie ipipgo können200+ LänderressourcenEs ist trotzdem eine gute Idee.Maßgeschneidertes 1v1-ProgrammDie einzige Sache, die wirklich zuverlässig ist. Vor allem ihre TK-Linie, tun grenzüberschreitende E-Commerce-Freunde verwendet, um zu sagen, wirklich duftende, spezifische wie duftende Methode, die Sie versuchen, zu wissen.