Erstens: Was nützen zehn Millionen gespeicherte Proxy-IP-Daten? Warum haben wir zu optimieren? Wir tun Crawler Bruder verstehen, die Hände ohne Millionen von Proxy-IP sind peinlich zu gehen. Aber wirklich gespeichert, um die zehn Millionen Ebene, das Problem kommt - gewöhnliche Datenbank direkt zu Ihnen zusammenbrechen. Vor zwei Tagen, ein altes Eisen erzählte mir, dass sie M...

Wenn das CAPTCHA Bauernhof trifft die Proxy-IP: das Gesetz des Überlebens kann nicht umgangen werden Brüder in der CAPTCHA Anerkennung dieser Zeile verstehen, dass die Maschine offen ist, die CAPTCHA Flut. Dieses Mal die meisten Angst vor dem, was, IP markiert ist! Am Morgen nur Debugging eine gute Schnittstelle, war der Nachmittag das Ziel vor Ort schwarz, ist dieser Schmerz wie Nudeln zu essen ohne Würze Pakete. ...

Erstens, warum rekursive Crawler müssen Proxy-IP verwenden? Engagiert in Daten Crawling wissen, Paging-Links und tiefe Seiten wie russische Schachtelpuppen, eine Schicht von einer Schicht kann einfach nicht aufhören. Wenn Sie Ihre eigene lokale IP nur hart, wird es die Zielseite schwarz in Minuten - vor allem die Preisdaten der E-Commerce-Plattform, ...

Wie zur Hölle dreht sich dieses Ding auf? Die alten Eisen, die in der Crawler alle verstehen, dass die IP blockiert ist, wie das Essen ist so schwierig gewürgt. Distributed IP Rotation System ist, um es unverblümt auf das Programm installiert eine magische Waffe, um automatisch das Pferd Rüstung, wie ein Spiel zu öffnen unbegrenzte Auferstehung hängen. Lassen Sie uns den Quellcode zu teilen, um den Kern der drei großen Stücke zu sehen: IP-Pool-Management ...

Wenn der Crawler trifft die Anti-Kletter-Mechanismus Doing Daten Crawling Freunde sollten ein solches Szenario erlebt haben: nur durch den Crawler-Skript laufen, am nächsten Tag auf der Ziel-Website einen 403-Fehler zu erhalten. Die Anti-Climbing-Mechanismus ist wie eine Feder, je mehr Sie heftig sind, desto stärker ist es. Zu diesem Zeitpunkt verteilt Crawler + Proxy-IP-Combo Schlag, wie der Crawler mit der Admiralität geladen ...

Wenn der Crawler das Feuer trifft: Warum ist Ihre Proxy-IP plötzlich ausgefallen? Freunde in Daten Crawling beschäftigt haben diese Situation erlebt: offensichtlich verändert ein Dutzend Proxy-IP, die Ziel-Website kann immer noch genau zu identifizieren Ihre Crawler. Zu diesem Zeitpunkt können Sie fluchen: "Diese gebrochene Website Anti-Reptilien-Verteidigung mit dem Tresor! &#82...

Browser-Fingerabdrücke sind schwerer zu verbergen als Personalausweise. Wir alle wissen, den Warenkorb zu leeren, aber viele Menschen wissen nicht, dass jedes Mal, wenn Sie eine Webseite im Hintergrund öffnen, eine "elektronische ID-Karte" zu verlassen. Diese Sache namens Browser-Fingerabdrücke, durch Ihren Computer die Schriftarten, Zeitzonen, Bildschirmauflösung dieser zwanzig...

Wenn der Proxy-Pool plötzlich abgebaut, was sollten Sie tun? Engagiert in der Datenerhebung Freunde haben diese Art von Verzweiflung erlebt: drei Uhr morgens Skripte laufen gut, plötzlich alle Proxy-IP-Kollektiv Streik, am nächsten Tag der Chef starrte auf die leere Datenbank zu sagen. Zu diesem Zeitpunkt, wenn Sie die Proxy-Meltdown-Mechanismus wissen, ist es das gleiche wie das Programm auf die Versicherung ...

Wenn der Crawler trifft Anti-Climbing: wie dieses Katz und Maus Spiel zu brechen? Haben Daten Crawl Freunde haben vor kurzem festgestellt, dass die Website Anti-Climbing-Maßnahmen mehr und mehr "Huhn Dieb". In der Vergangenheit, mit einer festen IP kann noch für ein paar Tage gemischt werden, und jetzt nur kriechen eine halbe Stunde blockiert werden. Dieses Mal haben wir aus unserem Killer zu bewegen - Proxy-IP. aber...