Python Data Crawling: Vom Anfänger zum Praktiker

Praktische Übungen mit Python zum Crawlen von Daten ohne Blockierung von Zahlen

Kürzlich kamen einige E-Commerce-Freunde zu mir, um sich zu beschweren. Sie sagten, dass die Verwendung von Python, um den Preis von Konkurrenten zu ermitteln, immer mit einer gesperrten IP verbunden ist, und sie sind bestrebt, direkt auf die Füße zu springen. Ich kenne das: Letztes Jahr, als ich das System zur Überwachung der öffentlichen Meinung einrichtete, wurde der Server direkt von der Ziel-Website auf die schwarze Liste gesetzt, weil ich die Proxy-IP nicht gut gehandhabt hatte.

Wir wollen uns heute mit dieser Proxy-IP-Tür befassen. Beginnen wir mit einer kontraintuitiven Lösung:Es ist nicht so, dass jeder freie Mitarbeiter das Problem lösen kann.Neun von zehn freien IPs, die der Öffentlichkeit zur Verfügung stehen, werden von anderen Personen genutzt. Neun von zehn dieser öffentlichen kostenlosen IPs sind Überbleibsel der Nutzung durch andere Personen, ganz zu schweigen von der langsamen Geschwindigkeit, und können sogar Viren enthalten.

Anfragen importieren
from random importieren Wahl

 Hier ist ein Beispiel für einen Proxy-Pool mit ipipgo
proxies_pool = [
    {"http": "http://user:pass@123.45.67.89:30001"}, {"http": "http://user:pass@123.45.67.89:30001"}, {"http": "http://user:pass@123.45.67.89:30001"}, }
    {"http": "http://user:pass@123.45.67.90:30001"}, ...
     ... Weitere von ipipgo bereitgestellte Proxy-Knoten
]

def safe_request(url).
    try.
        proxy = choice(proxies_pool)
        response = requests.get(url, proxies=proxy, timeout=5)
        return antwort.text
    except Exception as e.
        print(f "Crawl schlug fehl, um Proxys automatisch zu wechseln: {e}")
        return safe_request(url) rekursiver Wiederholungsversuch

Warum überlebt Ihr Crawler drei Episoden nicht?

Viele Neulinge neigen dazu, in diese Schlaglöcher zu fallen:

Ich habe ipipgo's Wohn-Proxy, um Tests vor, die gleiche Sammlung Aufgabe zu tun, ist die Überlebensrate der dynamischen IP höher als das Rechenzentrum IP 40% mehr als. Vor allem bei der Erfassung bestimmter E-Commerce-Plattformen mit strenger Windkontrolle kann der Residential Agent das Verhalten echter Nutzer simulieren, und es ist nicht einfach, den Schutzmechanismus auszulösen.

Praktischer Fall: rob Maotai Skript Transformationsprotokoll

Letztes Jahr half ich einem Freund, ein Robocall-Skript zu ändern, die ursprüngliche Version direkt verwenden lokale IP, nur laufen, um blockiert werden. Später verwendet ipipgo dynamische kurzlebige IP-Lösung, um die Fangfrequenz von 3 Mal pro Sekunde auf 1,5 Mal pro Sekunde mit diesen Änderungen zu reduzieren:

 Erforderliche Konfiguration zur Verschleierung des Browsers
headers = {
    "Benutzer-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
    "Accept-Language": "zh-CN,zh;q=0.9"
}

 Intelligentes Zeitverzögerungsmodul
importieren Sie random, time

def smart_delay():
    base = 1.2 base interval
    jitter = random.uniform(-0.3, 0.8) random jitter
    time.sleep(max(0.8, base + jitter)) nicht weniger als 0.8 Sekunden

Die geänderte Version lief drei Monate lang ununterbrochen und wurde erst am Ende der Veranstaltung umgestellt. Hier ist ein Tipp:Verwenden Sie nicht für alle Anfragen ProxysDie Verwendung einer Mischung aus lokalen IPs und Proxy-IPs kann die Kosten wirksam senken.

QA-Sitzung: Häufige Fallstricke für Neulinge

F: Kann der freie Mitarbeiter nicht eingesetzt werden?
A: Nicht, dass Sie es überhaupt nicht benutzen könnten, aber genau wie bei den öffentlichen Toilettenpapierhandtüchern können Sie es vorübergehend benutzen, um einen Notfall zu retten, aber auf lange Sicht können Sie sich immer noch sicher sein, dass Sie es von Ihrem eigenen Haus gekauft haben. Wie bei ipipgo, diesem professionellen Dienstleister, ist IP-Reinheit garantiert, aber auch mit automatischem Ersatz.

F: Sollte ich mich für einen Wohnungsmakler oder einen Serverraummakler entscheiden?
A: Sehen Sie sich das Nutzungsszenario an. Der Agent für den Wohnbereich wird für das Abgreifen von Sekunden verwendet, der Agent für den Serverraum für die Datenerfassung in großen Mengen. ipipgo bietet beide Arten an und kann auch minutenweise abgerechnet werden, was für Entwickler wie uns, die knapp bei Kasse sind, geeignet ist.

F: Wie kann ich überprüfen, ob die Vollmacht wirksam ist?
A: Ich zeige Ihnen eine schmutzige Methode: Schreiben Sie ein Skript, um https://httpbin.org/ip kontinuierlich zu besuchen, um zu sehen, ob die Rückkehr IP ändert. ipipgo Hintergrund hat auch Echtzeit-Dosierung Überwachung, können Sie die IP-Ersatz Situation zu sehen.

Sagen Sie etwas, das von Herzen kommt.

Proxy IP ist dieses Ding, bei einer guten Nutzung ein Geschenk des Himmels, bei einer schlechten Nutzung eine Geldverbrennungsmaschine. Ausgewählte Dienstleister müssen auf drei Punkte achten:Der IP-Bestand ist groß genug, der Austauschmechanismus ist flexibel, der technische Support ist nicht zeitnah. Wie ipipgo benutze ich es seit etwas mehr als einem halben Jahr, und das Beste daran ist die intelligente Routing-Funktion, die automatisch die schnellste Verbindung auswählt und mir im Vergleich zum manuellen Umschalten viel Arbeit erspart.

Abschließend möchte ich Sie daran erinnern, dass das Sammeln von Daten in einer kämpferischen Art und Weise erfolgen sollte, und dass Sie eine Website nicht zu Tode sammeln sollten. Kontrollieren Sie die Häufigkeit der Anfragen, seien Sie nicht faul, wo die Verzögerung hinzugefügt werden sollte, schließlich beschäftigen wir uns nur mit Daten, nicht mit DDoS-Angriffen, richtig?