Ohne ein paar Tricks geht es heutzutage bei der Datenerfassung nicht mehr.
Buddy vor kurzem ist nicht immer diese Art von Scheiße begegnet? Harte Arbeit, um die Crawler-Skript zu schreiben, läuft auf der Flucht auf die Lücke, die Website Anti-Klettern und Anti-Dieb wie. Dieses Mal haben wir die Proxy-IP-Banner zu opfern, aber der Markt diese konventionelle Spiel ist schon lange tot geglaubt worden. Heute nageln wir einige echte, Hand in Hand, um Ihnen beizubringen, alternative Datenerfassung Techniken verwenden, um auszubrechen.
Die drei tödlichsten Punkte des traditionellen Proxy-IP
Beginnen wir mit ein paar Schlaglöchern, in die die Jungs getreten sind:
1. die wiederholte Verwendung desselben IP, der direkt auf Ihrem Siegel angebracht ist
(2) Die Qualität der IPs im öffentlichen Proxy-Pool gleicht dem Pumpen einer blinden Kiste.
3. dynamischer Authentifizierungscode sprang in dem Moment heraus, als der Blutdruck direkt in die Höhe schoss
Es ist an der Zeit, anders zu denken und mit alternativen Datenproxies zu neuen Erkenntnissen zu gelangen.
Alternative Datenerfassung Triple Axe
Tipp Nr. 1: IP-Mashups
Verwenden Sie den dynamischen Wohn-Proxy von ipipgo und ändern Sie bei jeder Anfrage zufällig die Rüstung Ihres Pferdes. Ihre API spuckt automatisch neue IPs aus, wie diese hier:
Anfragen importieren
from random importieren Wahl
proxies_pool = ipipgo.get_dynamic_proxies() Hier wird die API aufgerufen
current_proxy = {'http': choice(proxies_pool)}
resp = requests.get('destination url', proxies=current_proxy)
Tipp Nr. 2: Beantragung eines Fingerabdruckwechsels
Es reicht nicht aus, die IP zu ändern, man muss auch den Request Header, die Cookies und all diese Merkmale ändern. Nehmen Sie eine Kastanie: Tipp Nr. 3: Einen Rhythmus anfordern, um den Wind in den Segeln zu haben Vor kurzem gibt es einen Bruder zu tun E-Commerce-Preisvergleich, mit ipipgo statischen Wohn-Agent in Preisüberwachung zu engagieren. Auf den ersten, 300 Mal pro Stunde, um die alten blockiert zu fangen, und dann so angepasst: F: Was soll ich tun, wenn meine Proxy-IP so langsam ist wie eine Schnecke? F: Wie kann ich feststellen, ob eine Proxy-IP ein echter Wohnsitz ist? F: Welches Paket sollte ich mit einem begrenzten Budget wählen? Die Datenerhebung ist wie ein Guerilla-Krieg, müssen Sie immer wieder ändern Taktik. ipipgo die duftende ihrer Heimat ist in der Lage sein, privat das Programm anpassen, das letzte Mal gibt es ein Übersee Fragebogen Kumpels, speziell auf eine Mischung aus dynamischen Wohn + Rechenzentrum Agent des Programms zu erhalten, die Erkennungsrate direkt von der 30% bis 3%. Abschließend möchte ich Sie daran erinnern, dass Sie bei der Verwendung von Proxy-IPs vorsichtig sein müssen. Bringen Sie Ihren Webserver nicht zum Absturz, es ist keine gute Idee, einen Rechtsstreit zu beginnen. Der vernünftige Einsatz von Werkzeugen, damit das Wasser fließen kann, ist es nicht?
headers = {
User-Agent': random_ua_generator(),
Accept-Language': random_lang(),
'Referer': fake_referer()
}
Seien Sie nicht pünktlich wie ein Roboter, fügen Sie einige zufällige Verzögerungen hinzu. Lassen Sie sie zwischen 0,5 und 3 Sekunden schwanken, damit die Website die Routine nicht herausfinden kann.Praktischer Leitfaden zur Vermeidung der Grube
Ausgaben
Verschreibung
IP-Wechsel zu oft
Wechsel zu langlebiger statischer IP, einzelne IP-Anfrage nicht mehr als 200 Mal pro Tag
JavaScript-Rendering-Erkennung
Oberer kopfloser Browser + Puppenspieler
Verkehrscharakterisierung
Aktivieren des TK-Mietleitungs-Verschleierungsprotokolls für ipipgo
Frage-und-Antwort-Runde
A: Versuchen Sie ipipgo's grenzüberschreitende Linie, ihre S5-Protokoll-Knoten Latenz kann auf unter 200ms gedrückt werden. Wenn Sie immer noch denken, es ist zu langsam, direkt auf die exklusive statische IP, 35 Yuan, um einen dedizierten Kanal zu kaufen.
A: Verwenden Sie diese Methode zur Erkennung:
1. whois-Informationen prüfen, um den zugewiesenen Betreiber zu ermitteln
2. besuchen Sie whatismyipaddress.com, um den IP-Typ zu sehen
3. die Überlebensdauer der IP testen, echte private IP leben nicht länger als 24 Stunden
A: Klettern Datenvolumen der Auswahl der dynamischen Standard-Version, 7 mehr als 1G genug, um einen Monat zu bauen. Um stabile langfristige Nutzung, direkte statische Wohn monatlich, obwohl der Stückpreis höher ist, aber nicht leicht zu drehen.Sagen Sie etwas, das von Herzen kommt.
Deutsch 
简体中文 
English 
Español 
Français