Facebook Mall Collector: Lösung zur Erfassung von Produktdaten

Dies ist vielleicht der realistischste Facebook-Spickzettel, den Sie je gesehen haben!

Die Facebook-Mall-Daten crawl wissen, dass die meisten Kopfschmerzen ist nicht, wie man den Code zu schreiben, sondern wie man das Konto leben durch drei Tage zu machen. Diejenigen, die Sie lehren, Anfragen Bibliothek zu verwenden, um Daten zu crawlen Tutorials, neun von zehn nicht sagen, Sie die wichtigsten Punkte:IP-Adresse ist wichtiger als Kontopasswort. Heute werden wir auf einige Wahrheiten eingehen, die niemand sonst zu sagen wagt, insbesondere wie Sie Ihr Capture-Konto mit dem Proxy-Service von ipipgo behalten können.

Warum ist Ihr Kollektor immer blockiert?

Stellen Sie sich vor, Sie sind in einem Einkaufszentrum und fotografieren die Leute, die Sie sehen. Wen wird der Sicherheitsbeamte anstarren, wenn nicht Sie? Dabei werden vor allem drei Dinge beobachtet:

1. die gleiche IP-Zugriffshäufigkeit (mehr als 50 Mal / Stunde wird gesperrt)
2. die IP gehört zu Anomalien (die Vereinigten Staaten am Morgen und Brasilien am Nachmittag)
3. die Merkmale der Anfragen sind gleich (alle Anfragen kommen aus demselben Serverraum)

Letzten Monat gab es einen Großhandel Kleidung Kunden, mit ihren eigenen Server, um Daten zu erfassen, die Ergebnisse der nächsten Tag auch das Hauptkonto wurde gesperrt. Später geändert, um ipipgo dynamische Wohn-IP-Pool, kontinuierliche läuft für einen halben Monat sind in Ordnung.

Die Wahl einer Proxy-IP ist wie die Wahl von Laufschuhen

Vergleich der auf dem Markt befindlichen Agententypen (Fokus auf die dritte Spalte):

Mit dem Fokus auf Dynamic Residential IPs gibt es eine wunderbare Anwendung für dieses Produkt von ipipgo:Automatische Stadtumschaltung auf Anfrage. Wenn Sie z. B. die Region USA einstellen, wird die erste Anfrage die IP von Los Angeles sein und die zweite die von Chicago, wodurch das reale Nutzerverhalten perfekt simuliert wird.

Praktische Konfiguration des Kollektors

Im Falle von Python gibt es beispielsweise drei Stellen, die in der Schlüsselkonfiguration geändert werden können:

Einfuhranträge

 Holen Sie sich die Proxy-Adresse von ipipgo (vergessen Sie nicht, sie durch Ihre eigene API zu ersetzen)
proxy = "http://用户名:密码@gateway.ipipgo.com:端口"

 Konzentrieren Sie sich auf die Einstellung des Timeout-Parameters
response = requests.get(
    'https://www.facebook.com/marketplace',
    proxies={'http': proxy, 'https': proxy},
    timeout=(3, 7) 3 Sekunden zum Verbinden, 7 Sekunden zum Lesen
)

 Zufälliger Schlaf ahmt manuelle Bedienung nach
importieren Sie random
time.sleep(random.uniform(1.2, 4.5))

Vorsicht! Viele Leute setzen auf die Timeout-Einstellungen, wenn die Website langsam lädt, führen die Standard-Timeout-Einstellungen zu TCP-Verbindungsanomalien, die die Proxy-Eigenschaften direkt offenlegen.

Fünf Details zum Anti-Blocking

1. Verwenden Sie nicht den Chrome-Treiber.Selenium ist leicht zu erkennen, wechseln Sie zu Requests + random request header
2. Steuern Sie die Geschwindigkeit des KlicksVerweildauer auf der Seite: zufällige Schwankungen von 0,5-3 Sekunden
3. Aktive Stunden staffelnU.S. Nutzer werden nicht verrückt, wenn sie nachts um 3 Uhr Artikel durchziehen.
4. Mausspur-SimulationPyMouse: Benutze PyMouse für zufällige Bewegungen, klicke nicht in einer geraden Linie!
5. Regelmäßige Cache-ReinigungTracking-Daten insbesondere in LocalStorage

Häufig gestellte Fragen QA

F: Warum ist die Website auch nach der Verwendung eines Proxys noch gesperrt?
A: Überprüfen Sie die Größe des IP-Pools, es wird empfohlen, mehr als 500+ dynamische IPs zu rotieren. Die Business-Version von ipipgo unterstützt automatisch 1500 Städte!

F: Was ist, wenn die erfassten Daten unvollständig sind?
A: Es ist wahrscheinlich, dass die Lastgrenze ausgelöst wird, fügen Sie "sec-fetch-site: same-origin" in den Request-Header ein, um es zu versuchen.

F: Muss ich mit dem Fingerabdruck-Browser arbeiten?
A: Langfristige betriebliche Anforderungen, kurzfristige Sammlung mit zufälligem User-Agent ist ausreichend. ipipgo bietet einen Dienst zur Verschleierung von Geräte-Fingerabdrücken.

Sagen Sie die Wahrheit.

Ich habe zu viele Menschen eine Menge Geld ausgeben, um den Erwerb von Software zu kaufen, die Ergebnisse in der IP-Link zu fallen gesehen. Letzte Woche gab es einen Kunden, hatte einen kostenlosen Proxy zu verwenden, die Ergebnisse des Kontos alle weg. In der Tat, die professionelle Dinge zu professionellen Tools, ipipgoDynamische IP + automatischer WiederholungsmechanismusAuf diese Weise können Sie mehr Geld sparen, als wenn Sie es selbst wegwerfen würden. Neue Nutzer erhalten eine 3-tägige Testphase, die ausreicht, um die Wirkung zu messen.