Crawler ip Proxy-Pool, wie zu verwenden? Scrapy Integration und fordert Rotation der realen Kampf

Eine Anleitung zum Aufbau eines Proxy-Pools für Crawler.

Brüder, die sich mit Crawling beschäftigen, sollten verstehen, dass der Anti-Climbing-Mechanismus der Zielseite wie ein Gopher-Spiel ist. Heute bringen wir Ihnen bei, den Proxy-IP-Pool von ipipgo zu nutzen, um den Crawler zu bewaffnen, und persönlich zu testen, um die Wahrscheinlichkeit des Siegels von 80% zu verringern. Lassen Sie uns in zwei Genres aufgeteilt: Scrapy alten Fahrer und fordert Anfänger Dorf.

Umgestaltungslösung für Scrapy-Veteranen

Fummeln Sie einfach in middlewares.py herum, hier gibt es eine Live-Konfigurationsvorlage:

class ProxyMiddleware(object).
    def __init__(self).
        self.proxy_api = "http://ipipgo.com/api/get?type=dynamic&count=10"

    def process_request(self, request, spider).
         IP-Pool alle 5 Minuten aktualisieren
        if not hasattr(spider, 'proxy_pool') or time.time() - spider.proxy_time > 300: spider.proxy_pool = requests
            spider.proxy_pool = requests.get(self.proxy_api).json()['data']
            spider.proxy_time = time.time()

         Zufällige Auswahl einer glücklichen IP
        proxy = random.choice(spider.proxy_pool)
        request.meta['proxy'] = f "http://{proxy['ip']}:{proxy['port']}"
         Denken Sie daran, diese Middleware in den Einstellungen zu aktivieren!

Hier kommt der entscheidende Punkt:Es wird empfohlen, die IP-Gültigkeitsdauer auf 3 bis 5 Minuten festzulegen. Die dynamischen Wohnpakete von ipipgo unterstützen kundenspezifische Zeitlimits, die genau diesem Bedarf entsprechen. Es wurde getestet, dass die Verwendung der Standortfunktion auf Stadtebene die Risikokontrolle bei der Anmeldung außerhalb des Standorts wirksam reduzieren kann.

Ersucht Party Fancy Manöver

Single-Thread-Spieler schauen hier und lehren Sie eine faule Rotationsmethode:

von itertools importieren Zyklus

def get_proxies().
     Erzeugt API-Links direkt vom ipipgo-Backend.
    return [f"{ip}:{port}" for ip in requests.get('ipipgo backend link').json()]

proxy_pool = cycle(get_proxies())

while True: proxy_pool = cycle(get_proxies())
    try: current_proxy = next(proxy)
        aktueller_proxy = nächster(proxy_pool)
        res = requests.get(url, proxies={
            "http": aktuell_proxy, "https": aktuell_proxy, "https": aktuell_proxy
            "https": current_proxy
        }, timeout=10)
        timeout=10)
    except.
        print(f"{current_proxy} ist gescheitert, gehe zum nächsten!")

Denken Sie daran, einen Wiederholungsmechanismus in die Ausnahmebehandlung einzubauen. Die statische private IP von ipipgo eignet sich für Szenarien, die lange Sitzungen erfordern, wie z. B. die Simulation der Datenerfassung nach der Anmeldung.

Leitfaden zur Vermeidung der Grube (QA-Sitzung)

Q：Was soll ich tun, wenn meine Proxy-IP nicht funktioniert, wenn ich sie benutze?
A: Überprüfen Sie zunächst den Pakettyp, dynamische Wohnstandard 1 Minute Zeitlimit. Vorschlagen, ein Überleben Erkennung in den Code hinzufügen, mehr als 30 Sekunden keine Antwort automatisch wechseln. ipipgo Enterprise-Version des Pakets unterstützen, um das Zeitlimit auf 30 Minuten zu verlängern!

F: Wird die IP geraubt, wenn mehr als ein Crawler zur gleichen Zeit aktiv ist?
A: Verwenden Sie das Kontosystem zur Isolierung, ipipgo Hintergrund kann Unterkonten erstellen, weisen Sie jedem Crawler unabhängige Schlüssel zu, so dass sie sich nicht gegenseitig bedrängen werden

F: Was soll ich tun, wenn ich eine CAPTCHA-Bombardierung erlebe?
A: Es gibt zwei Möglichkeiten: 1) Statische Residential-IPs wechseln 2) Geräte-Fingerprints in den Request-Header einfügen. ipipgo's TikTok-Lösung hat ein Geräte-Emulationsmodul, das als Referenz verwendet werden kann.

Welches Paket sollte ich wählen?

Gemäß den Geschäftsszenarien auf der rechten Seite:

Vor kurzem habe ich einen kleinen Trick entdeckt: in der ipipgo-Backend-EinstellungProtokoll-ShuntDie erste besteht darin, die HTTP- und HTTPS-Anfragen in verschiedene IP-Pools aufzuteilen, was die Erfassungsgeschwindigkeit von etwa 20% verbessern kann. Vor allem bei der Preisüberwachung im E-Commerce ist der Pro-Test sehr effektiv!

Abschließend möchte ich euch daran erinnern, dass ihr eure Zeit nicht mit kostenlosen Proxys verschwenden solltet. Ich habe die billigen Proxys, die ich bei somebay gekauft habe, getestet, 8 von 10 sind auf der schwarzen Liste. Ihr könntet genauso gut das Newbie Trial Pack von ipipgo benutzen, für die ersten 2 GB zahlt ihr sowieso nicht.