Python-Anforderungsbibliothek mit Proxys: Proxy-Einstellungen

Praktische Erfahrung mit Python-Anfragen mit Proxy-IP-Konfiguration

Wovor habt ihr am meisten Angst, wenn ihr Crawler macht? Natürlich, dass die IP blockiert wird! Die Hälfte des hart geschriebenen Codes wird von der Zielseite blockiert, und dann muss man sich auf die Proxy-IP verlassen, um den Tag zu retten. Heute nehmen wir die Python-Requests-Bibliothek, um Ihnen zu zeigen, wie Sie die Proxy-IP verwenden können, um nicht blockiert zu werden.

Einfuhrgesuche

proxies = {
    'http': 'http://用户名:密码@ipaddress:port',
    'https': 'https://用户名:密码@ipadresse:port'
}

response = requests.get('Ziel-URL', proxies=proxies)

Sehen Sie sich das an.Wörterbuch der ProxiesDas erste, was Sie tun müssen, ist, um sicherzustellen, dass das Protokoll Header nicht andersherum geschrieben wird. Viele Neulinge stürzen, weil sie die http- und https-Proxy-Adresse verwechseln, das Ergebnis ist nicht tot zu kriegen. Empfohlen direkt mitipipgoDer Vertreter der Familie, ihre Familie automatisch an das Protokoll angepasst, sparen eine Menge Herz.

Drei Möglichkeiten, eine Proxy-IP zu öffnen

Die erste ist für den vorübergehenden Gebrauch und eignet sich für Szenarien, in denen Sie gelegentlich die IPs wechseln müssen:

 Einzelne Anfrage mit Proxys
requests.get('url', proxies={'http':'http://ip:port'})

Die zweite ist eine globale Einstellung, die für Fälle geeignet ist, in denen alle Anfragen über den Proxy laufen:

 Globale Proxy-Einstellungen
session = requests.Session()
session.proxies.update({'http':'http://ip:port'})

Die dritte Möglichkeit ist eine automatische Rotation, die auf demipipgos dynamisches Proxy-Paket zu nutzen. Ihr Proxy-Pool ist so groß, dass sie nicht aufhören können, IPs automatisch zu wechseln:

von itertools importieren Zyklus

proxy_list = ['ip1:port','ip2:port','ip3:port'] Füllen Sie die Liste der von ipipgo bereitgestellten Proxys aus.
proxy_pool = Zyklus(proxy_liste)

 Automatischer Wechsel der IP bei jeder Anfrage
for _ in range(10): proxy = next(proxy_pool)
    proxy = next(proxy_pool)
    requests.get('url', proxies={'http':f'http://{proxy}'})

Ein Leitfaden zur Vermeidung der Grube (ein Muss!)

1. Timeout-EinstellungVergessen Sie nicht: Proxyserver werden oft herumgeschubst, ohne den Timeout-Parameter bleibt das Programm in Minuten stecken!

requests.get('url', proxies=proxies, timeout=10)

2. Behandlung von AusnahmenEs wird empfohlen, die Anfrage mit try-except zu verpacken und im Falle eines Verbindungsfehlers automatisch erneut zu versuchen.

3. IP-QualitätDie kritischsten: finden ihre eigenen freien Agenten neun von zehn kann nicht verwendet werden, empfohlen, direkt mit demipipgoHandelsvertreter, kann die gemessene Verfügbarkeit bis zu 99% betragen

Praktische QA-Sitzung

Q：Warum kann ich keine Verbindung herstellen, obwohl mein Agent gepaart ist?
A: Überprüfen Sie zunächst das Proxy-Format, stellen Sie sicher, dass es das Format "protocol://IP:port" ist. Wenn Sie dasipipgoDer Agent, achten Sie auf den Hintergrund, um die Verbindung Beispiel, einige ihrer Pakete müssen das Konto Passwort hinzufügen!

F: Woher weiß ich, ob der Bevollmächtigte aktiv ist?
A: Sie können diese Testseite verwenden: http://httpbin.org/ip, die Rückgabe-IP hat sich geändert, um anzuzeigen, dass der Proxy in Kraft ist!

F: Wie spielt man mit Proxys in Szenarien mit hoher Gleichzeitigkeit?
A: Nach obenipipgoDas exklusive Proxy-Paket mit Multithreading + Proxy-Pooling, mit dem die Häufigkeit der Anfragen kontrolliert werden kann

Warum empfehlen Sie ipipgo?

Ein letzter Tipp: Verwenden SieipipgoDer Proxy erinnern, ihre API zu öffnen, um dynamisch zu erhalten IP, als ihre eigene Wartung des Proxy-Pool, um eine Menge Ärger zu sparen. Neue Benutzer-Registrierung sendet auch 10G Verkehr, genug für Sie zu testen. Der Code ist besser geschrieben als der Proxy ist gut gewählt, das ist wirklich nicht blasen!