
Warum sind Crawler-Browser immer blockiert? Vielleicht fehlt Ihnen diese Schutzebene
Engage in Datenerfassung Freunde verstehen, die meisten Kopfschmerzen ist nur das Programm laufen, wird das Ziel Website Pop-up den Verifizierungscode. Was noch schlimmer ist, ist, dass das Konto kollektiv gesperrt wird, und die Nummer, die einen halben Monat zuvor erhoben wurde, ist völlig ruiniert. In den meisten Fällen handelt es sich nicht um Code-Probleme, sondern um IhreInternet-FingerabdruckEntlarvt.
Jetzt die Website Wind Control System Diebe, nicht nur auf die IP-Adresse schauen, wird auch die Browser-Auflösung, Zeitzone, Schriftart Dutzende von Merkmalen zu erkennen. Genau wie Sie in den Supermarkt gehen immer die gleiche Kleidung tragen, wollen die Kassiererin nicht zu erinnern, Sie sind schwierig. Dieses Mal haben wir auf Proxy-IP + Fingerabdrücke Tarnung verlassen, um mit dem Krieg zu spielen, ipipgo dynamische Wohn-Proxy nur um dieses Problem zu lösen.
Drei Schritte zur Unsichtbarkeit des Browsers
1. IP-Pools müssen wie Chamäleons seinDer ipipgo-Proxy für Privatanwender deckt mehr als 200 Länder ab und schaltet bei jeder Anfrage automatisch auf die echte Breitband-IP um. Wenn Sie beispielsweise E-Commerce-Daten sammeln, verwenden Sie die US-amerikanische IP, um die 3C-Produkte zu prüfen, und schalten Sie auf die deutsche IP um, um sich die kleinen Haushaltsgeräte anzusehen, was mehr als 10 Mal sicherer ist als die Verwendung der festen IP.
2. Seien Sie nicht faul bei der Verschleierung von FingerabdrückenGeben Sie `navigator.plugins` in die Browser-Entwicklerwerkzeuge ein, um Ihre Plugin-Informationen zu sehen. Es wird empfohlen, die folgenden Parameter zufällig zu generieren, wenn Sie einen Headless-Browser verwenden:
- User-Agent (verwenden Sie nicht den Standardwert HeadlessChrome)
- Bildschirmauflösung (verwenden Sie nicht immer 1920 x 1080)
- Einstellung der Zeitzone (entsprechend dem IP-Standort)
| Risikobegriff | Tarnungsprogramm |
|---|---|
| Leinwand Fingerabdruck | Zufälliges Rauschen einspeisen |
| WebGL-Rendering | Ändern der Grafikkartenparameter |
| Schriftart-Liste | Spezielle Schriftarten löschen |
3. Die Kontentrennung sollte gründlich sein: Loggen Sie sich niemals in mehrere Konten unter der gleichen IP ein! Verwenden Sie ipipgo'sFunktion zum Halten der SitzungWenn Sie beispielsweise ein grenzüberschreitendes E-Commerce-Unternehmen sind, können Sie die IP von New York für Ihren US-Shop und die IP von Osaka für Ihren japanischen Shop verwenden, so dass die Plattform die Relevanz nicht erkennen kann.
Praktischer Leitfaden zur Vermeidung der Grube
Kürzlich ist ein Freund, der im Ausland Crowdfunding betreibt, auf eine große Mine getreten: Er benutzte offensichtlich eine Proxy-IP, 10 Konten waren noch ein Pott. Ich half ihm bei der Untersuchung und fand drei Probleme:
- Die Browser-Fingerabdrücke wurden nicht vollständig geändert, alle Konten befinden sich in der Zeitzone Peking.
- Die Intervalle für den IP-Wechsel sind zu regelmäßig und ändern sich alle 5 Minuten, anstatt gekennzeichnet zu werden.
- Verwendung eines unzuverlässigen Proxy-Dienstanbieters, langsame API-Antwort führt zu Timeout
Nachdem Sie in den intelligenten Rotationsmodus von ipipgo gewechselt haben, stellen Sie dieZufälliges Schaltintervall(30-180 Sekunden), mit dem Browser-Automatisierungs-Tool, um die Hardware-Fingerabdrücke zu ändern, jetzt mehr als ein halbes Jahr Konten sind so stabil wie ein alter Hund.
QA-Zeit
F: Kann ich nicht einfach einen kostenlosen Proxy verwenden? Warum sollte ich einen kostenpflichtigen Dienst kaufen?
A: kostenloser Proxy 99% ist molekulare Spiel links, IP ist seit langem von den großen Plattformen gezogen worden. ipipgo's IP-Pool wird vierteljährlich 60% aktualisiert, garantiert die Verfügbarkeit von mehr als 98%.
F: Beeinträchtigt die Tarnung von Fingerabdrücken die Geschwindigkeit des Browsers?
A: Solange Sie nicht zu viele Plug-ins öffnen, ist die Ladegeschwindigkeit der Seite, gemessen mit dem Socks5-Proxy von ipipgo + einfacher Tarnung, nur etwa 0,3 Sekunden langsam. Verglichen mit dem Risiko, blockiert zu werden, ist diese Verzögerung überhaupt nichts.
F: Wie kann ich IPs für die gleichzeitige Ausführung mehrerer Crawler-Projekte zuweisen?
A: Erstellen Sie mehrere Unterkonten im ipipgo-Backend und legen Sie für jedes Projekt eine eigene IP-Whitelist fest. Zum Beispiel verwendet Projekt A nur brasilianische IP, Projekt B nur südostasiatische IP, und die Traffic-Rechnung wird auch separat gezählt.
Letzten Endes ist es wie ein Versteckspiel, wenn man als Crawler ein Konto führt. Beidesich verstecken können(Anonymität) und wiederschnell sein(Stabilität). Seitdem wir den Wohn-Proxy von ipipgo nutzen, muss unser Team nicht mehr mitten in der Nacht aufstehen, um sich mit CAPTCHAs zu beschäftigen. Jetzt ist die Erfolgsquote bei der Registrierung neuer Konten von 37% auf 89% gestiegen, was genug Kosten für die Versiegelung einspart, um drei Jahre Proxy-Service zu kaufen.

