Tutorial zur Konfiguration des Weiterleitungsproxys: Verteilte Crawler-Architektur von Scrapy und Lösung zur automatischen IP-Umschaltung

Wenn Crawler auf IP-Sperren treffen? Versuchen Sie diese "Shifting Shadows"-Technik!

Brüder, die sich mit Crawlern beschäftigen, wissen, dass das größte Kopfzerbrechen bereitet, wenn die Zielsite plötzlich eine IP-Sperre ausspricht. Es fühlt sich an wie gerade die Schatzhöhle gefunden, aber das Loch wurde mit Zement versiegelt. Diesmal müssen SieProxy-IPIhr Schuppentier zu sein, und wählen Sie den richtigen Proxy-Dienstleister ist der Schlüssel. Nehmen wir ipipgo heute eine Kastanie zu zitieren, ist seine Wohn-IP-Pool sehr tief, mehr als 240 Regionen auf der ganzen Welt, mehr als 90 Millionen echte Heimat IP, wie die Reptilien mit unzähligen temporären ID-Karten ausgestattet.

Ich zeige Ihnen, wie Sie einen "Transformator" auf Scrapy setzen.

Die Konfiguration von Proxies in Scrapy ist eigentlich einfacher als das Kochen von Bubbly, der Schlüssel liegt darin, die richtige Stelle für die Konfiguration der Middleware zu finden. Beginnen wir mit der Installation der wesentlichen Bibliotheken:

pip install scrapy-rotating-proxies

Dann fügen Sie diese Codezeilen in die Datei settings.py ein:

ROTATING_PROXY_LIST = [
    'http://username:password@proxy.ipipgo.com:8000',
     Weitere Proxy-Knoten...
]

DOWNLOADER_MIDDLEWARES = {
    'rotating_proxies.middlewares.RotatingProxyMiddleware': 610,
    'rotating_proxies.middlewares.BanDetectionMiddleware': 620,
}

Beachten Sie, dass die von ipipgo bereitgestellten dynamischen Authentifizierungsparameter hier eingetragen werden sollten.Zugang zu allen ProtokollenSOC5 und HTTP können damit herumspielen. Es ist, als würde man ein automatisches Wechselsystem für den Crawler installieren, das bei jeder Anfrage die Weste wechselt.

Wie wählt man dynamische IP gegenüber statischer IP?

Die Wahl der dynamischen ist wie die Verwendung von Leitungswasser, ändern, wie Sie gehen, ohne Schmerzen; die Wahl der statischen ist wie Wasser in Flaschen, die besser geeignet ist für Szenen, die langfristige Stabilität erfordern. ipipgo dieses Wohn-IP sindEchte HeimnetzwerkumgebungSie ist viel zuverlässiger als die IP des Serverraums, und die Wahrscheinlichkeit, blockiert zu werden, ist 80% gerade nach unten.

Die häufigen Fallstricke des aktuellen Kampfes Q&A

F: Was soll ich tun, wenn der Agent häufig keine Verbindung herstellen kann?
A: Prüfen Sie, ob die Authentifizierungsinformationen nicht rückwärts geschrieben sind. Der Schlüssel für ipipgo lautetBenutzername + PasswortDoppelte Authentifizierung. Wenn Sie eine dynamische private IP-Adresse verwenden, sollten Sie den Mechanismus zur automatischen Wiederholung aktivieren.

F: Woran erkenne ich, ob die IP in Kraft ist?
A: Fügen Sie eine Log-Ausgabe in die Middleware ein, oder besuchen Sie direkt http://ip.ipipgo.com/check, um die aktuelle Export-IP zu überprüfen. Die API liefert schnell zurück, zeitnaher als das Warten auf den Takeout.

F: Was sollte ich tun, wenn ich auf einer Website aufgefordert werde, mich anzumelden?
A: Dies ist der richtige Zeitpunkt, um statische IP-Bindungssitzungen mit ipipgo'sIP Feste Funktionist es, als ob man einen Dauerausweis für den Crawler erhält.

Die Reptilien sollen lernen, "aus ihrem Schneckenhaus herauszukommen".

Ein letzter Hinweis an Sie: Ändern Sie nicht nur Ihre IP, sondern achten Sie auch auf diese Details:
1. fordern Sie eine Frequenzkontrolle an: selbst wenn Sie Ihre IP-Adresse ändern, sollten Sie nicht wie ein Maschinengewehr losballern.
2) User-Agent-Masquerading: nicht bei allen Anfragen einen Browser-Hut aufsetzen
(3) Captcha Antwort: nicht die Überprüfung der harten gerecht zu werden, die Verwendung von Codierung Plattformen nicht schaden das Geld

Kombinieren Sie den Proxy-Service von ipipgo mit diesen Tipps, und Ihr Crawler wird in der Lage sein, durch alle Arten von Anti-Crawling-Maßnahmen zu navigieren wie ein Soldat der Spezialeinheit. Denken Sie daran, ein guter Proxy-Service ist wie eine Sauerstoffflasche: Man spürt ihn normalerweise nicht, aber er kann Ihnen im Notfall das Leben retten.