Werbepreisüberwachung: Überwachungssystem für Werbeagenturen

Warum muss ich für die Anzeigenpreisüberwachung eine Proxy-IP verwenden?

Vor kurzem eine Menge Freunde tun E-Commerce-Freunde und ich angepriesen, sagte mit Crawlern zu fangen Konkurrenten Werbedaten ist immer gesperrt. Um einen realen Fall zu zitieren: Hangzhou, ein Bekleidungsunternehmen Wang, mit gewöhnlichen IP zu einer Plattform Werbedaten zu fangen, nur 200 auf den Auslöser Wind Kontrolle gefangen, wurde das Konto direkt für 15 Tage gesperrt. Dieses Mal müssen wir Proxy-IP verwenden, um diesen Schmerzpunkt zu lösen.

Eine gewöhnliche IP ist so, als würde man jeden Tag mit dem gleichen Ausweis zur Bank gehen, um Geld abzuheben, und wird bald zur Zielscheibe. Proxy-IP ist gleichbedeutend mit dem Wechsel zu einer anderen Person, die jedes Mal die Anfrage an verschiedene IP-Adressen weiterleitet.Dynamische private IP für ipipgoAm besten geeignet für dieses Szenario ist die Tatsache, dass jede Anfrage aus dem Heimnetzwerk eines echten Nutzers kommt und die Werbeplattform nicht erkennen kann, ob es sich um eine echte Person oder eine Maschine handelt.

Aufbau eines Werbebeobachtungssystems in drei Schritten

Schritt 1: Datenerhebung
Schreiben Sie ein Crawler-Skript in Python, das sich auf das Setzen des zufälligen Request-Headers konzentriert. Hier ist ein wichtiger Trick: Holen Sie sich vor jeder Anfrage eine neue IP von der API von ipipgo:

importiere Anfragen
from ipipgo_api import get_proxy Angenommen, dies ist das SDK für ipipgo_.

def get_ad_data(url):
    proxy = get_proxy(type='dynamic') call dynamic residential IPs
    headers = {'User-Agent': random.choice(user_agents)}
    response = requests.get(url,
                          proxies={"http": proxy, "https": proxy},
                          headers=headers,
                          timeout=10)
    return response.json()

Schritt 2: Frequenzkontrolle
Verwenden Sie niemals ein festes Zeitintervall! Es wird empfohlen, eine zufällige Wartezeit und einen automatischen IP-Wechselmechanismus einzurichten. Zum Beispiel, alle 5 Mal, um die Daten zu fangen, um die IP zu ändern, Wartezeit zwischen 1-3 Sekunden zufällig schwebend.

Schritt 3: Datenbereinigung
Konzentrieren Sie sich auf die Überwachung von drei Arten von Datenänderungen:

ipipgo-Live-Konfigurationsprogramm

Auf der Grundlage unserer Erfahrungen mit den von uns betreuten Kunden ist dies die empfohlene Mischung:

• Für die tägliche ÜberwachungDynamisches Wohnen (Standard)Paket, $7,67/GB genug, um 100.000 Anfragen abzufangen
• Upgrade während der WerbeaktionDynamischer Wohnungsbau (Unternehmen)Pakete zur Unterstützung höherer Gleichzeitigkeit
• Für besondere Anforderungen, z. B. wenn eine feste IP erforderlich ist, können Sie eine statische IP für 35 $/Monat verwenden.

Es gibt einen einfachen Grund dafür: Viele Leute schreiben tote Proxy-IP-Adressen in ihren Code. Der korrekte Weg, dies zu tun, besteht darin, vor jeder Anfrage die neueste IP über die API abzurufen, etwa so:

 Beispiel für einen Fehler
BAD_PROXY = "123.123.123.123:8888"

 Richtiger Ansatz
def get_fresh_proxy().
    return requests.get('https://api.ipipgo.com/get_proxy').json()['ip']

Häufig gestellte Fragen QA

F: Beeinträchtigt die Proxy-IP die Geschwindigkeit der Datenerfassung?
A: Mit der TK-Leitung von ipipgo kann 40% beschleunigt werden, die gemessene Latenzzeit liegt unter 200ms. Wählen Sie nicht den kostenlosen Proxy, es wird wirklich die Geschwindigkeit verlangsamen.

F: Wie funktioniert die Überwachung der ausgeschriebenen Preise in verschiedenen Regionen?
A: Geben Sie einfach den Gebietsschema-Parameter im Code an, um z. B. Anzeigen von Walmart in den USA zu erfassen:

proxy = get_proxy(country='US', region='California')

F: Ist es illegal, Daten zu sammeln?
A: Gegen die Verwendung einer Proxy-IP ist an sich nichts einzuwenden, aber achten Sie darauf, dass Sie die Robots-Vereinbarung einhalten. Es wird empfohlen, nur öffentliche Daten zu sammeln und die sensiblen Informationen, für die Sie sich anmelden müssen, nicht zu berühren.

Leitfaden zur Vermeidung der Grube

In letzter Zeit habe ich festgestellt, dass sich viele Nutzer in diesen Bereichen Hals über Kopf verliebt haben:

1. Es ist kein Timeout-Parameter eingestellt, was dazu führt, dass das Programm stecken bleibt
2. Mehr als 50 aufeinanderfolgende Anfragen von der gleichen IP
3. Vergessen Sie die SSL-Zertifikatsüberprüfung (Lösung: Fügen Sie den Parameter verify=False zu den Anfragen hinzu)

Zum Schluss noch eine kalte Erkenntnis: Das Anti-Climbing-System der Werbeplattform aktualisiert die Strategie um 3:00 Uhr morgens, und die Erfolgsquote der Datenerfassung ist zu dieser Zeit am höchsten. Verwenden Sie die zeitgesteuerte Aufgabenfunktion von ipipgo, um die automatische Datenerfassung am frühen Morgen einzurichten, und Sie können sich eine Menge Ärger ersparen.