Amazon Produktbewertungsdatensatz: Produktbewertungsdatenblatt

Warum muss ich eine Proxy-IP für Amazon-Bewertungsdaten verwenden?

Haben E-Commerce-Freunde wissen, wollen Konkurrenten zu analysieren haben, um bei der Bewertung von Waren zu starren. Aber direkt klettern Amazon Daten, neun Mal von zehn wird IP blockiert werden. letzten Monat half ich einen Freund, eine Mutter und Baby-Produkte Bewertung Analyse, lokale IP nur 200 Daten gegriffen, klicken Sie auf die blockiert, so wütend er fast die Tastatur zerschlagen.

Dann ist es an der Zeit, dieProxy-IP-Pool-Rotationum das Eis zu brechen. Das Prinzip ist einfach:Jedes Mal, wenn Sie um eine andere "Schaufensterpuppe" bitten.Dadurch denkt die Plattform, dass es sich um einen anderen Benutzer handelt. Das ist so, als ob Sie in den Supermarkt gehen, um etwas auszuprobieren, und jedes Mal Ihre Jacke wechseln, damit der Verkäufer Sie nicht als dieselbe Person erkennt.

importiere Anfragen
from ipipgo import get_proxy Hier verwenden wir das ipipgo SDK.

def scrape_amazon_reviews(product_id).
    proxy = get_proxy(type='https', country='us') auto assign US residential ip
    headers = {'User-Agent': 'Mozilla/5.0'} nicht vergessen, den Browser zu verschleiern

    versuchen.
        response = requests.get(
            f'https://www.amazon.com/product-reviews/{product_id}',
            proxies={'https': proxy},
            headers=headers,
            timeout=10
        )
        return response.text
    except Exception as e.
        print(f'Scrape-Fehler, automatisches Umschalten der IP auf Wiederholung | Fehlermeldung:{str(e)}')
        return scrape_amazon_reviews(product_id) auto retry mechanism

Die drei großen Gruben der Wahl Proxy-IP, 90% Menschen gepflanzt haben

Agent Dienstleistungen auf dem Markt sind gemischt, ich habe die empörendsten Fall gesehen: ein Unternehmen kaufte ein preiswertes Agenten-Paket, die Ergebnisse der 50% ip sind in der Amazon Blacklist. Hier, um Sie zu lehren, um die Grube zu vermeiden:

Praktische Datenerfassung mit ipipgo

Nachdem Sie sich für ein ipipgo-Konto angemeldet haben, konzentrieren Sie sich auf diese beiden Funktionen:

1. intelligente Rotationsmuster:Legen Sie alle 5 Anfragen automatisch ändern IP, mit zufälligen UA-Header, Pro-Test fangen 3 Stunden, ohne verboten zu werden!

2. der Mechanismus der Nichtwiederholung:Automatischer IP-Wechsel zur Wiederholung, wenn ein CAPTCHA auftritt, was mehr als 10 Mal effizienter ist als die manuelle Verarbeitung.

 Konfigurieren einer intelligenten rotierenden Richtlinie
von ipipgo importieren RotatingProxy

proxy_config = {
    Strategie': 'smart_rotate', intelligenter Modus
    requests_per_ip': 5, 5 Mal pro IP
    retry_times': 3, 3-maliger Wiederholungsversuch
    geo_target': 'us-west' Geben Sie die US-West-IP an.
}

mit RotatingProxy(proxy_config) als proxy.
     Ihr Crawler-Code...

Häufig gestellte Fragen QA

F: Kann ich von Amazon wegen der Verwendung einer Proxy-IP verklagt werden?
A: Solange es sich nicht um böswillige Angriffe handelt und die robots.txt-Regeln befolgt werden, ist es legal, einfach öffentliche Daten zu sammeln. ipipgos Dienstleistungsvertrag verbietet auch ausdrücklich die illegale Nutzung.

F: Wie viele IPs sind erforderlich, um ausreichend zu sein?
A: Bei 10.000 Kommentaren pro Tag wird empfohlen, mehr als 500 qualitativ hochwertige private IPs vorzubereiten. Das Business-Paket von ipipgo enthält nur ein Kontingent von 600 IPs pro Tag und sendet außerdem automatische Auffüllungen für gescheiterte Anfragen.

F: Wie kann ich das CAPTCHA umgehen, wenn ich es sehe?
A: Zögern Sie nicht so lange! Verringern Sie sofort die Häufigkeit der Anfragen und wechseln Sie ipipgo'sHochversteckte Wohn-IPDer Code ist ein Standarddienst, der in Verbindung mit einem automatischen Codierungsdienst verwendet werden kann (beachten Sie, dass dieser separat erworben werden muss).

Ein bisschen Erfahrung aus dem Herzen.

Letztes Jahr habe ich einem großen 3C-Hersteller geholfen, eine Wettbewerbsanalyse mit ipipgo'sGezieltes IP auf StadtebeneEs wurde ein Phänomen festgestellt: Nutzer in Los Angeles legen mehr Wert auf das Produktdesign, während New Yorker mehr Wert auf funktionale Parameter legen. Diese Art von geografisch differenzierten Daten kann mit gewöhnlichen Agenten nicht erfasst werden.

Eine letzte Erinnerung für Neulinge:Kaufen Sie keinen minderwertigen Agenten für wenig GeldIch bin mir nicht sicher, ob ich jemals zuvor ein Problem damit hatte! Früher war ein Freund gierig auf billig, und das Ergebnis wurde vom Anbieter verpatzt - die angegebenen IPs waren alle von Amazon markiert, und das Konto wurde kurz nach Einleitung des Verfahrens gesperrt, was ein großer Verlust war.