urllib set proxy ip: Python crawler essential proxy Konfigurationsmethode

Ich zeige Ihnen, wie Sie einen Proxy mit urllib aufhängen können.

Brüder in Crawler beschäftigt verstehen, dass die Website Anti-Climbing-Mechanismus ist jetzt mehr und mehr verfeinert. Gestern lief auch ein gutes Skript, heute plötzlich 403 Forbidden, dieses Mal der Proxy-IP auf der Szene, um den Tag zu retten. Mit urllib kommt mit einem Proxy-Konfiguration ist eigentlich sehr einfach, aber die Online-Tutorials immer gerne zu komplizieren einfache Dinge, heute werden wir einige echte nag.

urllib.request importieren

proxy_ip = "123.123.123.123:8888" Dies ist die von ipipgo bereitgestellte Proxy-Adresse.
proxy = urllib.request.ProxyHandler({'http': proxy_ip,'https': proxy_ip})
opener = urllib.request.build_opener(proxy)
urllib.request.install_opener(opener)

 Testen Sie die Anfrage
Antwort = urllib.request.urlopen('http://httpbin.org/ip')
print(response.read().decode())

Treten Sie nicht in die drei Gruben der Proxy-Zuweisung

1. Die Vereinbarung stimmt nicht überein.: http- und https-Proxys müssen separat deklariert werden, aber mit dem Socks5-Proxy von ipipgo können Sie einfach durchgehen und sich die Mühe sparen!
2. IP-ÜberlebenszeitDynamische Proxys ändern ihre IP-Adresse automatisch alle 5 Minuten. Wenn Sie eine lange Aufgabe haben, denken Sie daran, eine zeitgesteuerte Aktualisierung in den Code einzufügen.
3. Auslassung von ÜberprüfungsinformationenEinige der zahlreichen Proxies benötigen Kennwörter im Format Benutzername:Kennwort@ip:port.

Vergleich der ipipgo-Proxys

Weißes FAQ Erste-Hilfe-Set

F: Der Code läuft durch, aber es können keine Daten abgerufen werden?
A: Neunzig Prozent ist der Proxy-IP-Ausfall, gehen Sie zu ipipgo Hintergrund überprüfen Sie den restlichen Verkehr, ist es empfehlenswert, eine neue IP-Test zu öffnen!

F: Agenten sind langsam wie Schnecken?
A: Ändern Sie den geografischen Standort in der Nähe des Zielservers, wie die Sammlung von japanischen Websites auf dem Server Raum Tokio, ipipgo Hintergrund kann selbst wählen Sie die Region

F: Was ist, wenn ich die IP-Adresse häufig wechseln muss?
A: Fügen Sie eine Proxy-Pool-Abfrage in den Code ein, verwenden Sie die API-Schnittstelle von ipipgo, um neue IPs in Echtzeit zu erhalten, und denken Sie daran, ein 5-Sekunden-Intervall einzustellen, um Blockierungen zu vermeiden!

Warum wir ipipgo empfehlen

Nachdem ich 7 oder 8 Proxys getestet hatte, entschied ich mich schließlich für ipipgo.TK Line AgentBesonders geeignet für die Erfassung von E-Commerce-Daten, im Gegensatz zu den gewöhnlichen Agenten nicht bewegen, um die CAPTCHA springen. Kürzlich wurde die neueCloud-Server + ProxyAuch die Paketierungslösung riecht gut, da sie das Crawler-Skript direkt auf ihren Servern bereitstellt und die Latenzzeit auf weniger als 50 ms reduziert werden kann.

Der Paketpreis ist klar gekennzeichnet (dynamische Wohn mehr als 7 Yuan 1G fließen genug, um einen halben Monat zu verwenden), im Gegensatz zu einigen Plattformen, Wortspiele zu spielen. Letztes Mal gibt es eine Sammlung von Aufgaben in den Vereinigten Staaten drei Staaten des Wohn-IP, Kundenservice am selben Tag angepasst werden, um die Lösung zu geben, ist diese Reaktionsgeschwindigkeit wirklich zuverlässig.