Proxy Service API: Proxy-Schnittstellenaufrufe

Grundlegende Posen für Proxy-Interface-Aufrufe

in der Datenerhebung des alten Eisen wissen, Proxy-IP-Schnittstelle mit einem einfachen Blick tatsächlich eine ganze Menge von Grube beschäftigt. Let's nag die grundlegendsten Aufruf Haltung, nehmen ipipgo Home Services, geben sie die API-Dokumentation ist wirklich viel mehr erfrischend als andere.

Als Kastanie, erhalten die einfachste Anfrage in Python:

Einfuhrgesuche

 Achten Sie darauf, dass Sie hier den Schlüssel durch Ihren eigenen Kontoschlüssel ersetzen
api_url = "https://api.ipipgo.com/get?key=你的密钥&count=5"

resp = requests.get(api_url)
print(resp.json()) Gibt die 5 verfügbaren Proxy-IPs zurück.

Aber hier ist eine.Bezirk Tai Hang, Hongkong! Viele Neulinge nehmen direkt die zurückgegebene IP, um den IP-Zyklus zu durchlaufen, nur um festzustellen, dass die IP längst ungültig geworden ist. Die korrekte Haltung sollte sein, eine neue IP in Echtzeit für jede Anfrage zu erhalten, wie dies:

def get_fresh_proxy().
    return requests.get(api_url).json()['data'][0]

Doorway in den Anfrageparametern

Verschiedene Proxy-Dienstanbieter haben eine Vielzahl von Parameternamen, ipipgo's Parameterdesign ist sorgfältiger. Hier ist eine Liste einiger wesentlicher Parameter:

Haltbarkeitsdauer(Timeout): Es wird empfohlen, 10-15 Sekunden einzustellen, zu kurz, um die IP leicht zu erhalten, zu lang kann die IP ungültig gemacht werden
Protokoll-Typ(Protokoll): http/https/socks5 entsprechend der Ziel-Website.
Geografische Filterung(city_code): wird verwendet, wenn Sie eine bestimmte Stadt-IP benötigen, z. B. beim Crawlen einiger lokaler Websites.

Geben Sie ein Beispiel mit Filterbedingungen:

 Ich suche einen https-Proxy in Shanghai
filter_url = "https://api.ipipgo.com/get?key=密钥&protocol=https&city_code=310000"

Anti-Rollover-Leitfaden für die Ausnahmebehandlung

Ich habe zu viele Fälle gesehen, in denen Crawler aufgrund von Proxy-Problemen abgestürzt sind. Hier sind ein paar Tipps, um Ihr Leben zu retten:

1. Doppelte Timeout-EinstellungZeitüberschreitung für API-Anfragen und Geschäftsanfragen festlegen
2. IP-AufwärmmechanismusBesuchen Sie eine Testseite, nachdem Sie die IP erhalten haben, um die Verfügbarkeit zu überprüfen.
3. Dynamische SchaltstrategieWarten Sie nicht darauf, dass die IP ausfällt, bevor Sie sie ändern. Es wird empfohlen, sie alle 5 Anfragen aktiv zu ändern.

Der Code für die Behandlung von Ausnahmen sieht in der Praxis wie folgt aus:

versuchen.
    proxy = get_fresh_proxy()
    resp = requests.get(ziel_url, proxies=proxy, timeout=(3, 10))
except requests.exceptions.ProxyError:
    ProxyError: mark_bad_proxy(proxy) markieren fehlgeschlagene IPs
    retry_count -= 1

Reale Geschäftsszenarien

Sagen Sie ein echter Fall von unserem Team: im vergangenen Jahr auf eine bestimmte E-Commerce-Preisüberwachung zu tun, die andere Seite der Anti-Climbing-Strategie zu ändern zweimal in drei Tagen. Später haben wir ipipgo'sDynamische WohnungsvermittlerLos geht's mit diesen geschmacklosen Geschäften:

- Zufälliger Wechsel des UserAgent pro Anfrage
- Wichtige Seiten werden über die mobile IP aufgerufen
- Umschaltung auf ausländische IPs in den frühen Morgenstunden
- Automatischer Wechsel der Stadtknoten, wenn CAPTCHA auftritt

Die daraus resultierende Überlebensrate stieg von 37% auf 89%, und der Projektleiter war schockiert.

Häufig gestellte Fragen QA

F: Wie werden gleichzeitige Anfragen behandelt?
A: Es wird empfohlen, IP-Pools im Voraus in großen Mengen zu beziehen und sie zufällig auszuwählen, wenn Sie sie verwenden. Die Enterprise-Version von ipipgo unterstützt den Bezug von 500+ IPs in großen Mengen.

F: Was soll ich tun, wenn die zurückgegebene IP sofort für ungültig erklärt wird?
A：Kontaktieren Sie den Kundendienst zum ÖffnenLangfristige Agenturpaketeoder prüfen, ob die Häufigkeit der Anfragen zu hoch ist

F: Was ist, wenn ich eine feste IP benötige?
A: Der statische Proxy-Dienst kann IPs für bis zu 24 Stunden binden, was für Szenarien geeignet ist, die ein Einloggen erfordern.

F: Wie kann ich einen 403-Fehler beheben?
A: Besuchen Sie zunächst die Website direkt ohne Proxy, um sicherzustellen, dass es sich nicht um ein Problem der Ziel-Website handelt. Verwenden Sie dann das von ipipgo bereitgestellte IP-Erkennungstool, um den Proxy-Status zu überprüfen.

Um ehrlich zu sein, kann die Wahl des richtigen Proxy-Dienstanbieters die Hälfte der Mühe sparen. Ein reaktionsschneller Anbieter wie ipipgo, der auf Arbeitsaufträge innerhalb von 10 Minuten reagiert, ist viel besser als einige andere, die nicht einmal einen halben Tag brauchen, um sich zu melden. Besonders ihreIntelligentes RoutingFunktion, die automatisch den optimalen Knoten auswählt, ist dieser wirklich dufte.