Beispiele für die Python-Anforderungsbibliothek: Tutorials zu GET/POST-Anforderungen

Erstens: Warum wird Ihr Crawler immer von der Website gezogen?

Crawler stoßen oft auf 403 verboten, manchmal nur greifen zwei Seiten von Daten auf der blockierten IP. dieses Mal der Proxy-IP ist Ihr Lebensretter. Es ist wie ein Spiel zu spielen, um eine kleine Zahl zu öffnen, mit einer anderen IP-Adresse Zugang, wird die Website nicht erkennen Sie als die gleiche Person.

Der Zugang mit einer nativen IP ist beispielsweise so, als würde man einen Vergnügungspark mit einem Ausweis betreten, und man wird mit Sicherheit auffallen, wenn man ihn Dutzende Male am Tag durchzieht. Wenn Sie jedes Mal den Zugangspunkt (Proxy-IP) ändern, wird der Administrator Ihren Weg nicht herausfinden können. Das ist eine gute IdeeipipgoHome Proxy Service, deren IP-Pool so tief ist, dass sie bei jeder Anfrage eine neue Weste bekommen.

Zweitens: Praxis der GET-Anfrage: mit Proxy-Web-Crawling

Beginnen wir mit den Grundlagen. Wenn Sie GET-Anfragen mit Requests senden, denken Sie daran, die Proxy-Konfiguration in den Proxy-Parameter zu schreiben. Beachten Sie, dass das Proxy-Format lautetProtokoll://Benutzername:Passwort@Adresse:PortEs ist leicht, sich hier Hals über Kopf zu verlieben.

Einfuhranträge

proxies = {
    'http': 'http://user123:pass456@proxy.ipipgo.io:8000',
    'https': 'http://user123:pass456@proxy.ipipgo.io:8000'
}

resp = requests.get('https://目标网站.com', proxies=proxies, timeout=10)
print(resp.text)

Markieren Sie es dreimal:Der Parameter timeout muss hinzugefügt werden! Muss hinzugefügt werden! Muss hinzugefügt werden! Einige Proxy-Knoten können ruckeln und Ihre Anwendung ohne Timeout lahmlegen. Wenn Sie den Proxy von ipipgo verwenden, können Sie den Timeout richtig verkürzen, und die Knoten reagieren mit einer soliden Geschwindigkeit.

Drittens, POST Anfrage, wie der Proxy zu spielen?

POST-Anfragen sind ähnlich konfiguriert wie GET-Anfragen, mit dem Unterschied, dass sie einen zusätzlichen Datenparameter verarbeiten. Hier gibt es einen Fallstrick, den Sie beachten sollten:Unabhängig davon, welches Protokoll die Zielseite verwendet, muss der Proxy diesem entsprechen.. Wenn die Website z. B. https ist, muss der Proxy https-Weiterleitung unterstützen.

data = {'Benutzername': 'test', 'Passwort': '123456'}
headers = {'Content-Type': 'application/json'}

resp = requests.post(
    'https://登录接口.com',
    json=data,
    proxies=proxies,
    headers=headers, verify=False
    verify=False Deaktivieren Sie vorübergehend die Zertifikatsüberprüfung beim Debuggen.
)

Mit ipipgo's Proxy wird empfohlen, verify=True zu halten, ihr Proxy kommt mit SSL-Zertifikat, müssen nicht die Sicherheitsüberprüfung zu deaktivieren. Wenn Sie die Notwendigkeit, sich auf der Website anmelden begegnen, denken Sie daran, das Cookie zu bringen, sonst ist es leicht zu Anti-Climbing-Mechanismus beschlagnahmt werden.

IV. proxy IP-Typ Auswahlhilfe

Auf dem Markt gibt es drei Arten gängiger Mittel, die wir anhand der Tabelle vergleichen wollen:

ipipgo-Familie ist eine hohe Stash von Agenten, besonders geeignet für die Notwendigkeit für langfristige stabile Sammlung der Szene. Der eigentliche Test mit ihrem Proxy kontinuierliche Anfrage 100-mal, die Ziel-Website nicht auslösen, die Überprüfung Mechanismus.

V. Erste-Hilfe-Leitlinien für häufige Überschlagssituationen

F：Warum kann ich keine Verbindung herstellen, wenn mein Agent gepaart ist?
A：先检查代理格式，特别注意特殊字符要用%转义。比如密码里有@符号的话，得改成%40。

F: Was ist, wenn die zurückgegebenen Daten verstümmelt sind?
A: Fügen Sie 'Accept-Encoding': 'identity' in den Request-Header ein, um die Komprimierung zu deaktivieren. Oder verwenden Sie resp.content.decode('correct encoding'), um manuell zu dekodieren.

F: Wie überprüfe ich, ob der Agent wirksam ist?
A: Besuchen Sie http://httpbin.org/ip, um zu sehen, ob die zurückgegebene IP eine Proxy-IP ist. Es wird empfohlen, die von ipipgo bereitgestellte Verifizierungsschnittstelle zu verwenden, die direkt Proxy-Knoteninformationen zurückgeben kann.

VI. Upgrade-Spiel: automatischer Austausch des Agentenpools

Die Verwendung eines Proxys allein ist leicht zu erkennen, Sie müssen einen Pool von Proxys zum Rotieren bekommen. Verwenden Sie die API von ipipgo, um Proxys dynamisch abzurufen und für jede Anfrage eine neue IP nach dem Zufallsprinzip auszuwählen:

zufällig importieren

def get_proxy(): proxy_list = requests.get('').json()
    proxy_list = requests.get('https://api.ipipgo.com/get_proxy').json()
    return random.choice(proxy_list)

for _ in range(10): current_proxy = get_proxy()
    aktueller_proxy = get_proxy()
    resp = requests.get(url, proxies=current_proxy)
     Verarbeitung der Antwortdaten

Mit diesem Satz kann die Anti-Climbing-Strategie effektiv umgangen werden. Die API-Rückgabegeschwindigkeit von ipipgo ist sehr schnell, die gemessene Antwortzeit beträgt Millisekunden und beeinträchtigt nicht die Effizienz der Sammlung.

VII. tipps zur Vermeidung von Schlaglöchern

1. fehlerhaftes SSL-Zertifikat, nicht überstürzt überprüfen = Falsch, zuerst prüfen, ob der Proxy HTTPS unterstützt
2. hochfrequenten Zugang zu erinnern, eine zufällige Verzögerung zu setzen, nicht eine Anfrage wie ein Maschinengewehr senden.
(3) Für wichtige Projekte empfiehlt sich der Kauf des exklusiven Proxy-Pakets von ipipgo, dessen Stabilität mehrere Stufen höher ist als die des gemeinsamen Proxys.
4. regelmäßige Überprüfung der Verfügbarkeit des Agenten und rechtzeitige Entfernung ausgefallener Knoten.

Schließlich möchte ich sagen, dass die Wahl des richtigen Proxy-Dienstleister können Sie die Hälfte der Mühe sparen. Ich habe sieben oder acht Proxy-Dienste verwendet, ipipgo in der IP-Reinheit und Verbindungsstabilität dieser wirklich spielen können, tun langfristige Projekte Bruder kann sich auf die Prüfung ihrer Pakete.