Dynamischer Crawler-Agent mit hohem Speicherplatz: Batch-Download von Patentdatenbanken und Analyse von technologischen Innovationen

Was ist der Sinn dieser Sache? Warum Patentdaten einen "Stealth"-Agenten brauchen

Engagiert in Patent Datenerhebung zu verstehen, gewöhnliche Crawler wie das Tragen von großen Hosen Einkaufszentrum - zu jeder Zeit kann die Sicherheit Rahmen aus. Eine Menge von Patent-Plattform Anti-Climbing-Mechanismus als der Supermarkt Sicherheitstür ist empfindlich, Sie kontinuierlich herunterladen 10 PDF kann die CAPTCHA auslösen, desto rücksichtsloser direkt blockieren Ihre IP ist nicht verhandelbar.

Zu dieser Zeit ist die hohe Stash von Proxys wie das Tragen einer vollständigen Satz von Mantel der Unsichtbarkeit, wird jede Anfrage zu einem "Weste" geändert. Zum Beispiel mit ipipgo dynamische Wohn-IP, wird jede Anfrage nach dem Zufallsprinzip zugewiesen realen Hause Breitband-IP, so dass die Plattform denkt, dass dies eine Vielzahl von realen Nutzern Surfen ist, und auch die Möglichkeit, die IP zu versiegeln sind nicht gegeben.

Nehmen Sie ein konkretes Beispiel:Ein Wissenschafts- und Technologieunternehmen möchte die Patententwicklung in einem bestimmten Bereich in den letzten zehn Jahren analysieren, manuelle Downloads sind mühsam, und gewöhnliche Proxys werden häufig blockiert. Nach der Umstellung auf die dynamische IP von ipipgo wechselt es automatisch jede Stunde zwischen mehr als 200 verschiedenen regionalen IPs und hat die Erfassung von 200.000 Patentdaten in drei Tagen abgeschlossen, ohne auch nur das CAPTCHA auszulösen.

Lassen Sie sich nicht anstechen! Bei der Auswahl einer Proxy-IP müssen Sie auf diese 3 Treffer achten

Die Proxy-Dienste auf dem Markt sind nicht einheitlich, und viele von denen, die behaupten, "hochgradig anonym" zu sein, sind in Wirklichkeit Rechenzentrums-IPs, die innerhalb von Minuten aufgebrochen werden können. Denken Sie an diese drei wichtigen Indikatoren:

ipipgo hat es in diesem Bereich wirklich in sich, denn ihr IP-Pool mit mehr als 90 Millionen Anschlüssen besteht ausschließlich aus echten Heimbreitbandanschlüssen. Als ich einem Freund beim Testen half, stellte ich fest, dass die angezeigten ISP-Informationen ein normaler Breitbandbetreiber waren, im Gegensatz zu einigen Dienstanbietern, die "XX data centre" anzeigen, wenn ich ihre IP für den Zugriff auf die Website des Patentamts verwendete.

Praktischer Unterricht: drei Schritte zum Umgang mit Stapel-Downloads

Hier ist eine.Wichtige Details: Schreiben Sie keine toten Proxy-Konfigurationen in Ihren Code! Es wird empfohlen, sie dynamisch mit einer Umgebungsvariablen aufzurufen:

os importieren
proxy = os.environ.get('IPIPGO_PROXY')
requests.get(url, proxies={"http": proxy, "https": proxy})

Mit ipipgo's API zu erhalten IP dynamisch, automatisch jede Stunde ersetzt. Der eigentliche Test einer internationalen Patentbibliothek Download, mit dieser Methode für 72 Stunden ohne Umdrehen, bleibt die Erfolgsquote über 98%.

Ich werde dir noch eine Sache beibringen.Tipps zum Schutz vor EntdeckungVerwenden Sie keinen festen User-Agent! Es ist besser, die Browser-Fingerprints nach dem Zufallsprinzip alle 50 Anfragen zu wechseln, mit einem Proxy-IP-Wechsel, so dass das Anti-Crawling-System völlig verwirrt ist.

Häufig gestellte Fragen Erste-Hilfe-Kasten

F: Was soll ich tun, wenn meine IP-Adresse auf halber Strecke des Downloads blockiert wird?
A: Prüfen Sie, ob Sie eine Rechenzentrums-IP verwenden, und ändern Sie sie in eine IP von ipipgo für Privatanwender. Wenn das nicht funktioniert, verkürzen Sie den IP-Austauschzyklus, es wird empfohlen, alle 5 Minuten eine Charge zu wechseln.

F: Wie kommt man an länderübergreifende Patentdaten?
A: ipipgo unterstützt die Lokalisierung von IPs nach Ländern. Wenn Sie z.B. ein japanisches Patent anmelden wollen, können Sie Wohn-IPs in Tokio/Osaka wählen, und der lokale Zugang wird nicht vermutet.

F: Ich befürchte, dass ich durch die Geschwindigkeitsbegrenzung eingeschränkt werde, wenn ich eine große Datenmenge habe?
A: Aktivieren Sie die Multithreading-Verteilung und teilen Sie die Aufgabe auf verschiedene regionale IPs für den gleichzeitigen Download auf. Ein Kunde nutzte diese Methode, um an einem einzigen Tag von 3G auf 200G Downloads zu kommen.

Die Analyse der technologischen Innovation kann immer noch auf diese Weise durchgeführt werden

Die Beschaffung der Daten ist nur der Anfang, die eigentliche Goldgrube liegt in der Analyse-Sitzung. Nennen Sie einen.FlirttrickDie Erfassung der Anmeldungen desselben Patents in verschiedenen Regionen mit unterschiedlichen nationalen Schutzrechten kann die Technologieauslegungsstrategie des Unternehmens aufdecken.

Wenn wir zum Beispiel ein neues Energiebatterie-Patent verwenden, um herauszufinden, dass es vor fünf Jahren in Texas angemeldet wurde, und wenn wir das deutsche IP verwenden, um herauszufinden, dass es vor kurzem ein neues Unterpatent in München hinzugefügt hat, können wir sofort ihre strategische Absicht beurteilen, eine Fabrik in Europa zu bauen.

Dieser Trick ist viel schneller als das Lesen von Finanzberichten, und die Daten stammen aus offiziellen Patentbibliotheken, die zehnmal zuverlässiger sind als Makleranalysen. Der Schlüssel ist, dass der gesamte Prozess ist völlig legal und konform, mit Wohn-IP, um öffentliche Daten zu sammeln, nicht nur nicht berühren die rote Linie, sondern auch hardcore Intelligenz zu bekommen.

Abschließend möchte ich Sie daran erinnern, dass es empfehlenswert ist, den gemischten Modus von ipipgo mit statischer und dynamischer IP zu verwenden, wenn Sie eine langfristige Überwachung durchführen möchten. Legen Sie einige IPs für die tägliche Überwachung fest und wechseln Sie bei großen Mengen zum dynamischen Pool, damit dieser stabil ist und das Erfassungsmuster nicht aufgedeckt wird.