Crawler-spezifische User-Agent-Liste: Anti-Detection UA Library

Reptil alter Fahrer stürzte den aktuellen Rekord

Letzte Woche kam ein Freund, der E-Commerce betreibt, weinend zu mir. Sein Team hat drei Monate damit verbracht, den Crawler zu entwickeln, der plötzlich kollektiv streikte. Nach einem halben Tag der Untersuchung, fand ich, dass das Problem liegt in der User-Agent (UA) wird von der Website identifiziert. Dies ist wie mit dem gleichen Gesicht ein Dutzend Mal am Tag in und aus der Nachbarschaft, der Pförtner nicht stoppen Sie zu stoppen, die?

Jetzt wird der Anti-Climbing-Mechanismus immer raffinierter, ein einfacher IP-Wechsel reicht nicht mehr aus. Ich habe einmal meinen eigenen 200-Proxy-IP-Test verwendet, und das Ergebnis warAnfrage von 62%Sie wurde auf die UA-Erkennung angesetzt. Später wurde entdeckt, dass Websites Anomalien anhand von Details wie Browserversion und Gerätemodell in der UA erkennen.

Anleitung zum Tragen des Unsichtbarkeitsmantels

Echte Verkleidungen müssen erzählt werdensowohl innerhalb als auch außerhalb der Box::

Hier werden dynamische Proxys von ipipgo empfohlen, deren IP-Pool täglich automatisch mit 15%-Adresssegmenten aktualisiert wird. In der Regel verwende ich den UA-Pool in Verbindung mit den Proxy-IPs, indem ich Werte wie diese kombiniere:

import random
von ipipgo importieren ProxyPool

ua_list = [
    "Mozilla/5.0 (Windows NT 10.0; Win64) AppleWebKit/537.36..." ,
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.11..." ,
     Es wird empfohlen, 300+ echte UA's zu behalten
]

proxy = ProxyPool.get_proxy() Automatisch den neuesten Proxy holen
headers = {
    'User-Agent': random.choice(ua_list),
    'Accept-Language': 'en-US,en;q=0.9'
}
 Denken Sie daran, die zufällige Verzögerung hinzuzufügen
time.sleep(random.uniform(1.2, 3.8))

Ein dreiteiliger Leitfaden zur Vermeidung der Grube

1. Tipps zur UA-Konservierung:Verwenden Sie nicht diese beschissenen UA-Bibliotheken. Es wird empfohlen, echte Benutzerdaten von Verkehrsanalysetools selbst zu sammeln. Ich verwende oft Wireshark, um Pakete zu erfassen und die beliebtesten UA der letzten 3 Tage in einer csv-Datei zu speichern

2. die Verschleierung von Fingerabdrücken:Einige Websites erkennen jetzt Canvas-Fingerabdrücke. Das hat nichts mit Agenten zu tun, aber es wird empfohlen, dies dem Crawler hinzuzufügen:

const canvas = document.createElement('canvas');
ctx = canvas.getContext('2d');
ctx.fillStyle = 'rgb(' + Math.floor(Math.random() 256) + ', ...' ;
// Zufällige Generierung von Canvas-Merkmalen

3. die Prüfung der Qualität der Mittel:Führen Sie wöchentlich eine vollständige Überprüfung mit der von ipipgo bereitgestellten Schnittstelle für Konnektivitätstests durch. Deren API liefert ziemlich schnell Ergebnisse und Sie können in Echtzeit sehen, welche IP-Segmente markiert sind:

curl -X GET "https://api.ipipgo.com/proxy/check?key=your_key"

QA Erste-Hilfe-Kasten

F: Funktionieren kostenlose Proxys?
A: Letztes Jahr habe ich versucht, eine Open-Source-Proxy-Pool, 10 Anfragen können 3 Erfolg haben, wird als Glück. Dann ändern ipipgo kommerziellen Agenten, die Erfolgsquote direkt stieg auf 92%, wirklich ein Pfennig ein Pfennig.

F: Wie oft muss die UA aktualisiert werden?
A: Schauen Sie sich die Stärke des Anti-Crawl der Zielseite an. Gewöhnliche Website monatliche Update ist genug, gegen die große Fabrik Ebene der Anti-Crawl, ist es empfehlenswert, die Chrome offizielle Version des Update-Rhythmus zu folgen.

F: Wie wähle ich ein Agentenpaket aus?
A: Betrachten Sie zunächst das Geschäftsszenario. Wie die von ipipgoE-Commerce-SonderausgabeSpeziell optimierte Zugriffsstrategien für Shopping-Sites, mit einer um 18 Prozentpunkte höheren Erfolgsquote als bei der generischen Version.

Die ultimative Verteidigungslösung

Kürzlich habe ich eine MCN-Organisation bei der Datenerhebung unterstützt, und die Situation war besonders typisch:

1. 7 E-Commerce-Plattformen gleichzeitig erfassen müssen
2. 2 Millionen Anfragen pro Tag
3. umfasst eine Mischung aus Bild- und API-Erfassung

Das endgültige Programm lautetipipgo Dynamic Residential Agent + Custom UA Rotation Systemin Verbindung mit dem Algorithmus zur Anforderungsfrequenzsteuerung. Die Stabilitätsrate liegt drei Monate lang über 89% und spart damit 37% an Kosten gegenüber der vorherigen selbstgebauten Lösung.

Und schließlich sollten Sie UA-Spoofing nicht als einmaliges Projekt betrachten, sondern es ist ein langfristiger Kampf, genau wie die Wartung von Proxy-IPs. Letzte Woche habe ich herausgefunden, dass eine Plattform die WebGL-Fingerabdruckerkennung hinzugefügt hat, und es wird immer neue Waffen auf dem Schlachtfeld gegen das Klettern geben.