LinkedIn Company Crawler: Sammlung von Unternehmensdaten

Sie möchten LinkedIn-Unternehmensdaten erhalten? Diese Fallstricke sollten Sie zuerst ausräumen

Kürzlich fragte mich eine Reihe von Freunden aus dem Außenhandel, ob ich auf LinkedIn Informationen über das Unternehmen abrufen könnte, um Kunden zu finden, und die Ergebnisse werden einfach auf den Müll geworfen. Diese Angelegenheit ist nicht kompliziert, aber wir müssen die Aufmerksamkeit auf die Methode zu zahlen. Wie Sie auf den Markt gehen, um Lebensmittel zu kaufen, kann nicht fangen einen Stand heftigen Griff, haben die Stände fragen Preis zu ändern, nicht wahr? LinkedIn Anti-Climbing-Mechanismus ist wie ein Markt-Administrator, speziell zu fangen diejenigen, die häufig betreiben das Konto.

Warum ist Ihr Crawler immer blockiert?

LinkedIns Anti-Crawl-Strategie hat drei Achsen:Erkennung der Häufigkeit von Anfragen, Verfolgung von IP-Adressen, Analyse von Verhaltensmustern. Es ist eine mechanische Export Kumpels, mit ihren eigenen Büro-Netzwerk, um Daten zu erfassen, die Ergebnisse der gesamten Firma IP sind schwarz, auch normale Anmeldung ist schwierig. Dies ist typisch für nicht eine gute Arbeit der IP-Isolierung zu tun, wie mit dem gleichen Schlüssel, um die Tür des gesamten Gebäudes zu öffnen, die Eigenschaft nicht fangen Sie fangen, wer?

Der richtige Weg zur Eröffnung einer Proxy-IP

Hier empfohlenGemischte Wählmittel für ipipgoist ihr privater IP-Pool groß genug, um die Daten im wirklichen Leben stabil laufen zu lassen. Ein Tipp: Verwenden Sie keinen festen Schaltzyklus, es wird empfohlen, dass dieZufälliger IP-Wechsel nach 3-7 AnfragenDies kommt der Arbeitsweise einer echten Person sehr viel näher. Nehmen Sie eine Kastanie:

Anfragen importieren
from random importieren Wahl

proxies_pool = [
    {'http': 'http://ipipgo_user:pass@gateway1.ipipgo.net:9020'},
    {'http': 'http://ipipgo_user:pass@gateway2.ipipgo.net:9020'}, {'http': 'http://ipipgo_user:pass@gateway2.ipipgo.net:9020'}, {'http': 'http://ipipgo_user:pass@gateway2.ipipgo.net:9020'}, }
     Es wird empfohlen, die neuesten IPs jedes Mal dynamisch von der API abzurufen.
]

def get_company_info(url).
    try: resp = requests.get(url, url).
        resp = requests.get(url,
            proxies=Auswahl(proxies_pool), headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0); Windows NT 10.0)
            headers={'Benutzer-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64) AppleWebKit/537.36'}
        )
        return resp.text
    except Exception as e.
        print(f'Anfragefehler: {str(e)}')

Praktischer Leitfaden zur Vermeidung der Grube

1. Seien Sie nicht gierig.500-800 Unternehmen pro Tag, um die Daten der sichersten zu fangen, mehr als diese Menge an Zeit wird empfohlen, von Zeit zu betreiben!
2. Klickpfade simulieren: Suchen Sie zuerst nach Schlüsselwörtern aus der Branche → klicken Sie auf die Homepage des Unternehmens → sehen Sie sich die Liste der Mitglieder an, besuchen Sie nicht direkt die Seite des Unternehmens!
3. Geräte-Fingerabdruck-TarnungDenken Sie daran, den Canvas-Fingerabdruck und die Zeitzoneneinstellungen zu ändern, wenn Sie den Headless-Browser verwenden!

Häufig gestellte Fragen QA

F: Ich habe eine Proxy-IP verwendet und wurde trotzdem gesperrt?
A: Überprüfen Sie drei Punkte: ① Proxy-IP-Reinheit (empfohlener ipipgo-Unternehmensfilterdienst) ② Anforderungsintervall ist regelmäßig ③ ob die Mensch-Maschine-Authentifizierung ausgelöst werden soll

F: Was ist, wenn das Crawling der Daten zu langsam ist?
A: Es wird empfohlen, eine verteilte Architektur zu verwenden, die API von ipipgo zu nutzen, um dynamisch Export-IPs aus verschiedenen geografischen Regionen zu erhalten, und 5-10 Threads gleichzeitig zu öffnen (diese Zahl sollte nicht überschritten werden)

F: Wie lässt sich die Qualität von Proxy-IP beurteilen?
A: Achten Sie auf drei Indikatoren: ① IP-Überlebenszeit (es wird empfohlen, eine Überlebenszeit von mehr als 2 Stunden zu wählen) ② geografische Verteilung (ipipgo unterstützt die Filterung nach Land und Stadt) ③ HTTPS-Unterstützungsrate (muss 100% sein)

Die Feinheiten bei der Auswahl eines Proxy-Dienstleisters

Es gibt alle Arten von Proxy-Diensten auf dem Markt, aber LinkedIn Crawls zu tun, um zu finden, dieSpezialisiert auf hochwertige anonyme VollmachtenDie. Jeder, der ipipgo schon einmal benutzt hat, weiß, dass sie zwei Killerfunktionen in ihrem Haus haben:
1. echte IP-Ressourcen von Privatpersonen, die schwieriger zu identifizieren sind als IPs von Serverräumen
2. automatischer Reinigungsmechanismus zur Eliminierung markierter schmutziger IPs
Zuvor gibt es eine Headhunting-Kunden, ändern Sie die ipipgo nach der Datenerfassung Effizienz direkt verdoppelt, ist der Schlüssel, um mehr als ein halbes Jahr Konto verwenden, ist immer noch lebendig und gut.

Ein letztes Wort der Wahrheit.

Die ganze Sache mit der Datenerfassung.drei Teile Können, sieben Teile Strategie. Ich habe zu viele Leute gesehen, die viel Geld für fortschrittliche Tools ausgeben, nur um dann bei der Grundeinstellung zu versagen. Denken Sie an die drei Grundsätze: Randomisierung von Anfragen, Dezentralisierung des Datenverkehrs und Anthropomorphisierung des Verhaltens. Tools in der Tat, Python + Anfragen genug, der Schlüssel ist, um mit einem zuverlässigen Proxy-Service zu arbeiten, in dieser Hinsicht kann ipipgo wirklich spielen, die Notwendigkeit, auf der offiziellen Website zu gehen, um ihre eigenen Pakete zu sehen, neue Benutzer zu 2G Testverkehr zu senden, genug, um das Wasser mit zu testen.