Python Requests: Erweiterte Nutzung der Requests-Bibliothek

Anträge für die Einrichtung von Bibliotheksagenten gehen Hand in Hand

Wenn wir Python für die Datenerfassung verwenden, stoßen wir oft auf die Situation, dass eine Website nicht gecrawlt werden kann. Zu diesem Zeitpunkt ist die Proxy-IP ein Lebensretter. Nehmen Sie ein reales Szenario: Sie wollen den Preis einer E-Commerce-Plattform zu erfassen, Dutzende von aufeinanderfolgenden Besuchen nach der IP blockiert wird. Zu diesem Zeitpunkt in den Anfragen Anfrage plus Proxy-Parameter, kann sofort wiederhergestellt werden.

Einfuhranträge

proxies = {
    'http': 'http://用户名:密码@proxy.ipipgo.com:端口',
    'https': 'http://用户名:密码@proxy.ipipgo.com:端口'
}

resp = requests.get('https://目标网站.com', proxies=proxies)

wichtige ErinnerungAchtung: Achten Sie besonders auf den Benutzernamen und das Passwort im Proxy-Format, viele Neulinge übersehen das!http://Präfix. Wenn Sie ipipgo privaten Proxy verwenden, denken Sie daran, exklusive Authentifizierung Informationen im Hintergrund zu generieren, ihre dynamische IP Überlebenszeit als andere Eltern, gemessen, um in der Lage sein, mehr zu verwenden 2-3 Stunden.

Dynamischer Proxy-Pool Tipps und Tricks

Eine einzelne Proxy-IP ist leicht zu identifizieren, wir müssen einen Proxy-Pool zum Rotieren bringen. Hier ist ein Trick - verwenden Sie das Session-Objekt, um die Sitzung beizubehalten, während Sie die Proxys nach dem Zufallsprinzip wechseln. Sehen Sie sich diesen Code an:

from requests.sessions import Session
import random

class SmartSession(Session).
    def __init__(self, proxy_list): super().
        __init__(self, proxy_list): super(). __init__()
        self.proxy_pool = proxy_list Hier werden die von ipipgo bereitgestellten Proxys abgelegt.

    def request(self, method, url, kwargs): super(. __init__().
        kwargs['proxies'] = {'http': random.choice(self.proxy_pool)}
        return super().request(methode, url, kwargs)

 Beispiel für die Verwendung
proxy_list = [
    'http://ipipgo_user1:pass123@111.222.33.44:8000',
    'http://ipipgo_user1:pass123@112.113.114.115:8000'
]
smart = SmartSession(proxy_list)
Antwort = smart.get('https://需要采集的网站')

Auf diese Weise wird bei jeder Anfrage ein Proxy nach dem Zufallsprinzip ausgewählt, und das Windkontrollsystem der Website ist schwer zu identifizieren. Es wird empfohlen, den dynamischen Wohn-Proxy von ipipgo zu verwenden. Der IP-Pool wird täglich mit mehr als 200.000 Adressen aktualisiert, und die Blockierungsrate ist nach persönlichen Tests um 60 % niedriger als die von gewöhnlichen Serverraum-IPs.

Agentenausnahmebehandlung auf drei Achsen

Die meisten Kopfschmerzen mit dem Proxy ist eine Vielzahl von Verbindungsfehlern, hier, um Ihnen drei todsicheren Weg:

1. zeitlich begrenzter Wiederholungsmechanismus

from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

retry_strategy = Wiederholung(
    retry_strategy = Retry(
    backoff_factor=1, status_forcelist=[500, 502
    status_forcelist=[500, 502, 503]
)

adapter = HTTPAdapter(max_retries=retry_strategy)
session = requests.Session()
session.mount('https://', adapter)

2. die Proxy-Validierung

Pingen Sie den Proxyserver vor jeder Nutzung an, um zu vermeiden, dass Anfragen an tote Proxys gesendet werden. Die API von ipipgo kann den verbleibenden Datenverkehr und den IP-Status direkt überprüfen, was viel schneller als herkömmliche Methoden ist.

3. die Protokollierung von Ausnahmen

Es wird empfohlen, den Anforderungscode mit einem try-except-Block zu umhüllen und die Proxy-IPs zu notieren, die nicht in Ordnung sind. ipipgo verfügt über ein Echtzeit-Überwachungspanel im Hintergrund, mit dem man direkt sehen kann, welche Proxy-Knoten langsam reagieren, so dass es bequem ist, sie rechtzeitig zu ersetzen.

Praktische QA-Antworten

Q：Die Proxy-Einstellung ist erfolgreich, aber die Anfrage wird immer noch von der Website blockiert?
A: 80 % verwenden einen transparenten Proxy von geringer Qualität, wechseln Sie zu einem Proxy mit hohem Speicherplatz von ipipgo. Denken Sie daran, zu prüfen, ob das Feld X-Forwarded-For im Request-Header die echte IP preisgibt.

F: Was sollte ich tun, wenn der Agent besonders langsam ist?
A: Testen Sie zunächst die Geschwindigkeit, um die Knoten auszuwählen. Der ipipgo-Client verfügt über eine Verzögerungstestfunktion. Wenn Sie einen HTTP-Proxy verwenden, können Sie das Streaming von Anfragen aktivieren:stream=TrueParameter erhöht die Geschwindigkeit beim Herunterladen großer Dateien.

F: Was ist, wenn ich sowohl inländische als auch ausländische Vertreter einsetzen muss?
A: Geben Sie die Protokolle im Proxies-Wörterbuch an, z.B. http-Proxies in China und https-Proxies in Übersee. ipipgo unterstützt die Filterung von Knoten nach geografischen Gesichtspunkten, die direkt zu den API-Parametern hinzugefügt werden.land=usEs wird in der Lage sein, US IPs aufzurufen.

Fortgeschrittenes Spiel: Optimierung der Agentenleistung

Teilen Sie einen niederschmetternden Trick für erfahrene Fahrer - steigern Sie den Durchsatz mit Verbindungspooling. In Kombination mit dem Enterprise-Proxy-Paket von ipipgo wird die gemessene gleichzeitige Leistung um das Vierfache gesteigert:

from requests.packages.urllib3.util.ssl_ import create_urllib3_context

 Benutzerdefinierter SSL-Kontext
ctx = create_urllib3_context()
ctx.load_default_certs()

 Erstellen einer Sitzung mit Verbindungspooling
session = requests.Session()
adapter = requests.adapters.HTTPAdapter(
    adapter = requests.adapters.HTTPAdapter( pool_connections=50, pool_maxsize=100
    pool_maxsize=100, max_retries=3
    max_wiederholungen=3
)
session.mount('https://', adapter)

Nach dieser Einstellung werden die Anfragen die TCP-Verbindung wiederverwenden, was besonders für Szenarien geeignet ist, die eine hohe Anfragefrequenz erfordern. Denken Sie daran, den "Long Connection Mode" im ipipgo-Hintergrund zu aktivieren. Der Proxy-Server unterstützt Keep-alive, was im Vergleich zum normalen Proxy 30% Handshake-Zeit spart.

Und schließlich sollten Sie bei der Auswahl eines Proxy-Dienstes nicht nur auf den Preis achten. Wie ipipgo mit intelligenter Routing-Technologie, kann automatisch die optimale Leitung wählen. Das letzte Mal, als ich eine Konkurrenzanalyse durchgeführt habe, war die Reaktionsgeschwindigkeit des asiatischen Knotens innerhalb von 80 ms stabil und damit mehr als doppelt so schnell wie bei zweitklassigen Marken.