Was zum Teufel ist Browser-Fingerprinting? Wenn wir im Internet surfen, merken sich Websites nicht nur IP-Adressen, sondern sammeln auch heimlich Dutzende von Geräteeigenschaften. So können beispielsweise die Größe des Browserfensters, die Systemschriftart, das Modell der Grafikkarte usw. zusammen einen eindeutigen Geräte-Fingerabdruck erzeugen. Und was noch besser ist: Canvas und WebGL ...

Warum ist der Login-Status-Crawler immer blockiert? Zuerst finden ihre eigenen Probleme Diejenigen, die in der alten Eisen Crawler beteiligt gewesen sind, wissen, dass die Login-Status Wartung ist ein Fass ohne Boden. Gestern war ein guter Cookie, heute plötzlich gescheitert; nur eine gute Session-Pool gebaut, eine halbe Stunde von der Website Windkontrolle Marke. Zu diesem Zeitpunkt nicht hetzen, um die Plattform zu schimpfen, ersten Blick auf ihre eigenen ist...

Warum brauche ich eine Proxy-IP für gesetzeskonforme Datenquellen? Heutzutage sammeln Unternehmen Daten wie frisches Gemüse auf dem Markt, was sowohl schnell als auch genau ist, und das Wichtigste ist, gesetzeskonform zu sein. Öffentliche Datenbank-APIs sind zwar gut zu nutzen, aber viele Plattformen haben Zugangsbeschränkungen - wie Supermärkte, die den Einkauf beschränken, greift dieselbe IP häufig direkt auf...

Warum werden Crawler immer wieder von Websites in die Zange genommen? Crawler-Veteranen wissen, dass die größten Kopfschmerzen ist die Website plötzlich geben Sie ein Gesicht. Offensichtlich ist der Code gut geschrieben, die Ergebnisse des Protokolls erschien plötzlich ein Bündel von 403, 429, dieses Mal ist es Zeit, eine Lupe zu nehmen, um das Protokoll zu sehen. Aber manuell überprüfen das Protokoll ist wie eine Nadel im Heuhaufen, vor allem mit einem festen I...

Erstens, wenn die Daten Positionierung trifft die dynamische IP-Pool Die alten Eisen Menschen in der Datenerfassung beschäftigt wissen, dass die Struktur der Web-Seite ändert sich jeden Tag wie eine Freundin Laune. Zu dieser Zeit, XPath und CSS-Selektor ist Ihr Stift, aber es gibt ein klägliches Problem - die Ziel-Site Anti-Climbing-Mechanismus wird Ihre IP erinnern....

Wenn der Crawler trifft den Stau: der Retter der asynchronen Anfrage in Crawling Brüder und Schwestern engagieren müssen dieses Szenario begegnet sein: offensichtlich Millionen von Daten zu fangen, lief die Ergebnisse des Programms wie eine alte Kuh, die ein kaputtes Auto ziehen. Zu diesem Zeitpunkt ist es Zeit, aus dem asynchronen magischen Werkzeug aiohttp zu bewegen, aber das Werkzeug ist nicht genug, müssen wir unsere ipipgo Generation entsprechen ...

Was tun, wenn Proxy-IP-Pools Millionen von Daten treffen? Freunde, die in Proxy-IP-Pools engagiert haben, sollten verstehen, dass jedes Mal, wenn die IP-Adresse wieder wie der Kohl auf dem Markt erfasst wird - eine große Menge von Rohr genug, aber mehr wiederholt. Letzte Woche sagte ein alter Mann, dass er die traditionelle Datenbank-Deduplizierung, das Ergebnis von Millionen von Daten direkt in die PPT stecken verwendet. diesmal sollte es sein ...

Wenn der Crawler traf die Website zu aktualisieren: die Jahre fielen durch die Grube Haben die alten Eisen der Datenerfassung wissen, dass die meisten Zerkleinerung ist nicht auf den Code zu schreiben, sondern um die Website-Content-Update zu finden, ihre harte Arbeit, um die Daten zu fangen sofort zu Altpapier. Letzte Woche, nur packte den Preis des E-Commerce, in dieser Woche alles verändert; gestern die Sammlung von Nachrichten Informationen, heute...

Wenn der Crawler die Anti-Climbing: Warum Ihre SERP-Schnittstelle immer von der Kette fallen? Old Zhang, die Datenerhebung tut, hatte vor kurzem eine besondere Kopfschmerzen, und der Preisvergleich Software von ihrem Unternehmen entwickelt wurde immer gekniffen, wenn der Aufruf der Suchmaschinen-Schnittstelle. Letzten Monat kaufte gerade 100.000 Mal die API-Quote, die tatsächliche Nutzung von weniger als 30.000 Mal, um die Windsteuerung auslösen, das Geld alle das Wasser getroffen ...