Crawling von Google Trends-Daten: eine duale API+Crawler-Lösung

Bekommen Sie Datenkopfschmerzen? Versuchen Sie diese beiden Tricks für Google Trends

In letzter Zeit haben sich viele Freunde aus dem grenzüberschreitenden E-Commerce bei mir darüber beschwert, dass die Daten von Google Trends manchmal funktionieren, manchmal nicht funktionieren, entweder langsam wie eine Schildkröte laden oder einfach nicht angezeigt werden können. In der Tat ist es so, dass Ihre Netzwerkumgebung beobachtet wird, um es ganz offen zu sagen. Seien Sie nicht in Eile zu schimpfen, wir direkt auf die trockenen Waren heute, lehren Sie, wie man Proxy-IP + technische Mittel der Stabilität zu verwenden, um in Daten zu engagieren.

Warum überschlägt sich Ihr Crawler immer?

Der Anti-Crawl-Mechanismus von Google Trends ist viel verrückter, als man denken könnte. Es werden hauptsächlich drei Dinge berücksichtigt:Häufigkeit der Anfragen, IP-Adresse, Browser-FingerabdruckDas erste, was Sie tun müssen, ist, um die gleiche IP-Adresse wie die, die Sie verwenden, zu erhalten. Vor allem der IP-Teil, wenn Sie sogar die gleiche IP-Wildpinkler verwenden, Minuten, um Ihnen eine schwarze Liste zu geben. Ich hatte einen Praktikanten, der mir nicht glaubte und sein Büronetzwerk nutzte, um die Daten zu crawlen, was dazu führte, dass das gesamte IP-Segment des Unternehmens für drei Tage gesperrt wurde.

Es ist an der Zeit, sich auf Proxy-IPs zu verlassen, umeinen Guerillakrieg führen. Wir empfehlen die Verwendung von ipipgo's Residential Proxy, sie haben Dutzende von Millionen echter Heimnetzwerk-IPs in ihrem IP-Pool, die bei jeder Anfrage zufällig wechseln, definitiv zuverlässiger als diese beschissenen Serverraum-IPs.

Der richtige Weg zum Öffnen der offiziellen API

Beginnen wir mit dem seriösen Weg: Google eröffnete tatsächlich dieOffizielle API.. Nachdem Sie sich für ein Entwicklerkonto angemeldet haben, können Sie Ihre Daten fünfmal am Tag kostenlos überprüfen. Allerdings gibt es zwei Fallstricke, die Sie beachten sollten:

1. die Kreditkarte muss gebunden sein (obwohl keine Gebühr)
2. der IP-Direktzugang im Inland meldet 403-Fehler

Hier kommt der statische Wohn-Proxy von ipipgo ins Spiel. Fügen Sie diese Konfigurationszeilen in den Code ein:

proxies = {
    "http": "http://用户名:密码@gateway.ipipgo.com:端口",
    "https": "http://用户名:密码@gateway.ipipgo.com:端口"
}
response = requests.get(api_url, proxies=proxies)

Ein Vorteil der Verwendung ihres Proxys ist, dass die IP-Überlebenszeit bis zu 24 Stunden beträgt, was besonders für API-Aufrufe geeignet ist, die die Sitzung aufrechterhalten müssen. Ich habe den Dauerbetrieb für eine Woche getestet, die Erfolgsquote bleibt über 98%.

Hardcore-Crawler-Programm (mit Vorsicht zu genießen)

Wenn die API zu restriktiv ist, müssen Sie den Weg über den Crawler gehen. Hier ist ein Konfigurationsplan, den ich persönlich als effektiv getestet habe:

Ich werde auf Proxy-Einstellungen zu konzentrieren. Es wird empfohlen, ipipgo kurzlebigen Proxy-Paket zu verwenden, jedes Mal, wenn Sie eine neue Seite öffnen, um die IP zu ändern. ihre API-Antwort Geschwindigkeit Dieb, innerhalb von 500 Millisekunden, um eine neue IP zu bekommen, vollständig mit dem Tempo des Crawlers halten.

Häufig gestellte Fragen QA

F: Kann ich nicht einen kostenlosen Proxy verwenden?
A: Bruder Sie versuchen zu wissen, 10 freie IP 9 fehlgeschlagen, die verbleibende kann als bösartige IP markiert werden. ipipgo obwohl Gebühr, aber 1 Yuan kann 500 Anfragen kaufen, wirklich nicht teuer.

F: Was soll ich tun, wenn immer angezeigt wird, dass der geografische Standort nicht übereinstimmt?
A: Wählen Sie im Hintergrund von ipipgo die Funktion "Genaue Positionierung". Wenn Sie z.B. die Daten aus den USA überprüfen wollen, sperren Sie die Wohn-IP von New York City, damit Google Trends automatisch die lokalen Ergebnisse anzeigt.

F: Was ist, wenn das Crawling der Daten zu langsam ist?
A: offenes Multithreading ah! Mit ipipgo's Concurrency-Paket, ist es empfehlenswert, 5-10 Threads zu kontrollieren, kann die Geschwindigkeit um 3 mal erhöht werden noch nicht blockiert.

Sagen Sie die Wahrheit.

Die Sache mit der Datenerfassung, denken Sie nie daran, Ärger zu sparen. Einige meiner Freunde kauften einen billigen Proxy, und als Ergebnis wurden ihre Konten gesperrt, Datenfehler und mehr Verluste. ipipgo Ich benutze es seit einem halben Jahr, und das Beste daran ist, dass ihreÜberwachungspanel in EchtzeitDie IPs können jederzeit eingesehen werden, und welche gesperrt sind, werden sofort automatisch ersetzt.

Noch einmal zur Erinnerung: Auch wenn Sie einen Proxy verwenden, sollten Sie die Häufigkeit der Anfragen kontrollieren. Es wird empfohlen, sich an diesem Tempo zu orientieren:

• Allgemeine Anfragen: 3-5 pro Minute
• Hochfrequenzerfassung: in Verbindung mit 10 IP-Drehungen, nicht mehr als 20 Mal pro Minute

In Übereinstimmung mit diesem Programm zu engagieren, garantieren Sie können ständig die Daten Wolle von Google Trends greifen. Was Sie nicht verstehen, können Sie direkt auf der offiziellen Website von ipipgo Kundendienst, ihre technischen kleinen Bruder zwei Uhr morgens sind online, zuverlässiger als einige der großen Hersteller von Roboter-Kundendienst.