Data Capture Product Services: Automatisierte Erfassungslösungen für Unternehmen

Die größte Schwierigkeit bei der Datenerfassung.

Do Datenerfassung Brüder verstehen, die meisten Angst vor der Begegnung mit der Website, um Ihnen eine Reise. Am Morgen läuft das Skript noch gut, und am Nachmittag meldet es plötzlich 403 Fehler, genau wie durch den Wachmann vor dem Einkaufszentrum gestoppt werden. Zu dieser Zeit, wenn Sie Ihre eigenen Breitband hart nur, leichte IP blockiert ist, schwere Lähmung des gesamten Projekts - diese Art von Sache, die ich zu viel gesehen habe, gibt es einen Preisvergleich System für drei aufeinanderfolgende Tage von einem E-Commerce-Plattform blockiert mehr als 200 IP, der Chef fast auf der Tastatur genagt.

Dann ist es an der Zeit, dieProxy IPs Trockenübung. Es ist wie ein Martial-Arts-Film in der Verkleidung, jedes Mal, wenn Sie besuchen, ändern Sie Ihr Gesicht, so dass die Website Anti-Climbing-System kann nicht erkennen, dass Sie die gleiche Person sind. Allerdings sind die Proxy-Dienste auf dem Markt uneinheitlich, einige behaupten, Millionen von IP-Pools zu sein, die tatsächliche Nutzung aller doppelten Adressen, als der Supermarkt Förderung des Verfallsdatums des Joghurts ist nicht zuverlässig.

Die drei zentralen Achsen der Unternehmenslösung

Eine wirklich zuverlässige automatische Erfassungslösung muss diese drei harten Kriterien erfüllen:

Nehmen Sie den Fall, den wir für ein Finanzunternehmen durchgeführt haben, das Daten von 20 Informations-Websites in Echtzeit erfassen muss. Mit dem dynamischen Wohn-Proxy von ipipgo und einer intelligenten Umschaltstrategie konnte die Erfolgsrate der Datenerfassung von 47% auf 92% gesteigert werden:Wechseln Sie die IPs nicht in festen AbständenDie Reaktionsgeschwindigkeit der Ziel-Website sollte dynamisch angepasst werden, wie ein alter Autofahrer, der je nach den Straßenverhältnissen einen anderen Gang einlegt.

Sie lernen, wie man ein Sammelsystem von Hand baut

Hier ist ein echtes Python-Beispiel im Einsatz, das das Scrapy-Framework in Kombination mit der ipipgo-API verwendet:

import random
from scrapy.downloadermiddlewares.retry import RetryMiddleware

class ProxyMiddleware(object).
    def process_request(self, request, spider): proxy_server = random.choice_proxy(ip_list).
        proxy_server = random.choice(ipipgo.get_proxy_list())
        request.meta['proxy'] = f "http://{proxy_server['ip']}:{proxy_server['port']}"
        request.headers['X-Proxy-Secret'] = ipipgo.get_auth_token()

    def process_exception(self, request, exception, spider).
        return RetryMiddleware().process_exception(anfrage, ausnahme, spider)

Achten Sie auf die Einstellung derDifferenzierte Anfrage-HeaderMan kann nicht alle Anfragen mit demselben User-Agent versehen, so wie man auch nicht zu einem Maskenfest gehen kann und alle die gleiche Fuchsmaske tragen müssen.

Praktischer Leitfaden zur Vermeidung der Grube

Kürzlich ist mir ein typischer Fall begegnet: Ein grenzüberschreitender E-Commerce-Kunde sammelte Produktdaten, verwendete offensichtlich eine Proxy-IP oder wurde identifiziert. Später stellte sich heraus, dass es ein Problem mit der Cookie-Verarbeitung gab - obwohl die IP geändert wurde, enthielt das Cookie immer noch die vorherigen Informationen, so wie man die Kleidung wechselt, ohne den Parfümduft zu ändern.

Die Lösung ist einfach: Fügen Sie diese beiden Zeilen in die Datei settings.py von Scrapy ein

COOKIES_ENABLED = False
DOWNLOAD_DELAY = random.uniform(1,3)

Kombiniert mit ipipgo'sSitzungstragende Agentendie perfekte Lösung für das Problem des Identitätsverlusts. Es ist, als würde man jedem Crawler eine befristete Arbeitserlaubnis geben, die er nutzen und verbrennen kann.

QA Erste-Hilfe-Kasten

F: Warum ist die Website auch nach der Verwendung eines Proxys noch gesperrt?
A: Überprüfen Sie drei Punkte: 1. ob die Häufigkeit der Anfragen zu hoch ist 2. ob der Proxy ein transparenter Proxy ist (Sie müssen einen Proxy mit hohem Speicherplatz verwenden) 3. ob die TLS-Fingerprints randomisiert wurden

F: Was ist das Besondere an ipipgo?
A: Ihr ZuhauseHybridprotokoll-PoolIn der Tat haben zwei Bürsten, können automatisch die Art der Ziel-Site, in der HTTP/Socks5 intelligente Umschaltung zwischen. Letzte Woche zu helfen, Kunden Andocken Reiseplattform, mit dem regulären Proxy kann nicht abholen Daten, schneiden, um ihre socks5 Linie sofort sehen die Wirkung.

F: Welches Paket sollten Geschäftskunden am meisten kaufen?
A: Wenn es sich um ein langfristiges Projekt handelt, gehen Sie direkt zuKundenspezifischer exklusiver IP-PoolIch habe einen Kunden, der die öffentliche Meinung beobachtet und 500 feste IPs für die Zeitplanung gekauft hat. Ich habe einen Kunden, der die öffentliche Meinung beobachtet und selbst 500 feste IPs für die Zeitplanung gekauft hat, zusammen mit der intelligenten Routing-Funktion von ipipgo, und es gab ein halbes Jahr lang keine groß angelegten Blockierungen.

Letztendlich ist Proxy IP kein Allheilmittel, aber genau wie bei einem guten Wok zum Pfannenrühren kommt es darauf an, dassWählen Sie das richtige Werkzeug für die jeweilige Aufgabe.Ich habe sieben oder acht Proxy-Dienstleister verwendet. Gebrauchte sieben oder acht Proxy-Dienstleister, ipipgo in der Stabilität und technischen Support kann wirklich zu schlagen, vor allem ihre Ingenieure können helfen, die Sammlung Strategie zu tun, dieser Punkt eine Menge von großen Herstellern nicht tun können.