urllib set proxy ip: Python urllib library add proxy ip solution

Ich zeige Ihnen, wie Sie einen Proxy mit urllib aufhängen können.

Crawler Bruder sollte verstehen, manchmal die Website Anti-Klettern zu heftig, direkt mit ihren eigenen IP hart nur Minuten blockiert werden. Dieses Mal müssen Sie einen Vermittler zu finden, um die Nachricht weitergeben zu helfen - das heißt, die Proxy-IP. eine Kastanie, wie Sie gehen, um Milch Tee kaufen wollen nicht Schlange stehen, auf der Suche nach Laufburschen im Namen der gleichen zu kaufen.

urllib kommt mit einem ProxyHandler in der Tat, der Dieb ist gut zu bedienen, aber viele Tutorials sind wie ein Buch geschrieben. Lassen Sie uns zu einigen echten heute kommen, direkt auf den Code. Beachten Sie, dass es eine Grube hier ist:Nachdem Sie das Opener-Objekt mit urllib.request.build_opener() erstellt haben, denken Sie daran, das Global mit install_opener() zu registrierenAndernfalls werden die Einstellungen möglicherweise nicht wirksam.

urllib.request importieren

 Ersetzen Sie dies durch die Proxy-IP und den Port, die von ipipgo bereitgestellt werden
proxy = 'http://用户名:密码@proxyIP:port'

proxy_handler = urllib.request.ProxyHandler({
    'http': proxy,
    'https': proxy
})

opener = urllib.request.build_opener(proxy_handler)
urllib.request.install_opener(opener)

 Testen Sie die Anfrage
Antwort = urllib.request.urlopen('http://httpbin.org/ip')
print(response.read().decode())

Wie genau wählt man eine Proxy-IP?

Es gibt alle möglichen Arten von Agenten auf dem Markt, daher hier ein kurzer Überblick für die Brüder:

Das Wichtigste ist, dass Sie, wenn Sie keine IP-Adresse verwenden, die API verwenden können, um dynamisch eine IP-Adresse aus der IP-Adresse zu extrahieren.

Gemeinsame Rollover-Szene QA

F: Der Code läuft, aber der Agent funktioniert nicht?

A: Prüfen Sie zunächst, ob das Proxy-Format richtig ist, insbesondere wenn es um das Passwort für das Konto geht. Es wird empfohlen, zunächst die Testseite httpbin.org/ip zu verwenden, um dies zu überprüfen!

F: Woran erkenne ich, ob ich den richtigen Agententyp gewählt habe?

A: Sie benötigen eine hohe Stash von Wohn-Proxys, eine große Anzahl von billigen Wahl der Datenzentren. ipipgo Kundenservice kann maßgeschneiderte Lösungen geben, direkt an sie zu testen IP versuchen!

F: Was sollte ich tun, wenn der Agent plötzlich keine Verbindung mehr herstellen kann?

A: Prüfen Sie zunächst, ob die IP abgelaufen ist; dynamische Proxys haben in der Regel eine Überlebenszeit. Es wird empfohlen, einen Mechanismus zur Wiederholung von Ausnahmen in den Code einzufügen, um automatisch zu einer neuen IP zu wechseln.

Sagen Sie etwas, das von Herzen kommt.

Ich habe sieben oder acht Proxy-Anbieter genutzt, und ich habe ipipgo für eine lange Zeit verwendet, vor allem, weil ich meinen Verstand retten will. Deren Client ist wirklich nicht umwerfend, weiße Leute können in drei Minuten loslegen. Konzentrieren Sie sich auf drei praktische Funktionen:

1. unterstützenIPs nach Region filternEs ist eine großartige Idee, Daten auf lokaler Ebene zu erheben.

2. Verkehrspakete können jederzeit ausgesetzt werdenIm Gegensatz zu einigen Plattformen, bei denen es eine Verschwendung ist, wenn man es kauft und nicht benutzt

3. bei technischen Problemen den Kundendienst zu finden, ist die Geschwindigkeit der Antwort schneller als der Lieferjunge

Schließlich eine Erinnerung an Neulinge: Proxy-IP ist kein Allheilmittel, der Schlüssel ist, mit einer angemessenen Anfrage Frequenz zu arbeiten. Denken Sie nicht, dass das Aufhängen eines Proxy tun kann, was Sie wollen, ist die Website nicht ein Narr. Kontrollieren Sie die Anzahl der Gleichzeitigkeit, gekoppelt mit zufälligen ruhenden Zeit, ist die langfristige Lösung.