Python LinkedIn Grabber: Sammlung von Einstellungsdaten

Wenn Headhunter auf Python-Crawler treffen

Kürzlich habe ich mich mit ein paar alten Hasen in der Personalabteilung unterhalten und festgestellt, dass ihnen das Auffinden von Lebensläufen das größte Kopfzerbrechen bereitet. Ein kleiner Bruder eines Headhunters beschwerte sich, dass die Effizienz der manuellen Datenerfassung bei LinkedIn jetzt langsamer ist als eine Schnecke. Das ist nicht der Fall, ich habe ihm über Nacht ein ganzes Python-Skript gegeben, mit demipipgovon Agenturleistungen, die die Effizienz direkt aus dem Kasten holen. Heute nehmen wir diese Kombination auseinander und zerknüllen sie, damit auch der kleine Mann damit spielen kann.

Proxy-IPs sind ein Rettungsanker für Crawler

LinkedIns Anti-Climbing-Mechanismus ist strenger als die Sicherheitsüberprüfung, verwenden Sie Ihre eigene IP hart? Es ist klar, dass Sie in wenigen Minuten gesperrt werden. Hier, um Ihnen eine geschmacklose Operation beizubringen:Proxy-IPs für CrawlerDas Prinzip ist wie ein Spiel von Huhn zu spielen, um die Haut zu ändern, jede Anforderung, um die IP-Adresse zu ändern. Das Prinzip ist wie ein Spiel von Huhn zu spielen, um die Haut zu ändern, jede Anforderung, um die IP-Adresse zu ändern, kann der Server nicht zwischen einer Person und einer Maschine zu unterscheiden.

importiert Anfragen
von itertools importieren Zyklus

 Proxy-Pool von ipipgo backend
proxies = [
    "http://user:pass@gateway.ipipgo.com:30001",
    "http://user:pass@gateway.ipipgo.com:30002".
     ... Mindestens 20 IPs vorbereiten
]
proxy_pool = cycle(proxies)

for page in range(1,50): current_proxy = next(proxy_pool)
    aktueller_proxy = nächster(proxy_pool)
    aktueller_proxy = nächster(proxy_pool)
        response = requests.get(
            url="https://www.linkedin.com/jobs/search/",
            url="", proxies={"http": current_proxy},
            headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"}
        )
        print(f "Seite {Seite} der Daten angekommen!")
    except.
        print("Diese IP wird abgefangen, gehen Sie zur nächsten!")

Drei eiserne Regeln für die Wahl einer Proxy-IP

Es gibt alle möglichen Proxy-Dienste auf dem Markt, aber Sie müssen diese drei für LinkedIn erkennen:

1. die Priorität von Wohn-IPServerraum-IP ist wie das Tragen von Overalls in einem Nachtclub, zu auffällig. Es wird empfohlen, den dynamischen Wohn-Proxy von ipipgo zu verwenden, die echte Heimnetzwerkumgebung!
2. die Gleichzeitigkeitskontrolle muss robust seinSenden Sie nicht 10 Anfragen pro Sekunde, als ob Sie ein Ausschlag wären, sondern verwenden Sie ipipgos intelligente Planungs-API, um die Häufigkeit automatisch zu steuern!
3. geographisch genauAbwerbung von Ingenieuren aus dem Silicon Valley? Denken Sie daran, einen IP-Knotenpunkt an der US-Westküste zu wählen

Praktischer Leitfaden zur Vermeidung der Grube

Letzte Woche, um ein E-Commerce-Unternehmen zu helfen, die Post-Daten zu fangen, schrieben sie ihr eigenes Skript ist immer Verbot. später fand drei tödliche Verletzungen:

Alter Treiber QA Zeit

F: Was soll ich tun, wenn ich beim Crawlen plötzlich keine Daten mehr habe?
A: 80% wird durch den Wind Kontrolle ausgelöst, sofort tun drei Dinge: 1. leeren Cookies 2. ersetzen ipipgo IP 3. reduzieren die Häufigkeit der Anfragen auf 3 mal pro Minute

F: Funktionieren kostenlose Proxys?
A: Aufwachen, Bruder! Kostenlose IP-Pools sind wie öffentliche Toiletten, jeder, der sie benutzt hat, kann sicher sein? Wie zuvor getestet, ist die Verfügbarkeitsrate von freien IP weniger als 10%, und die Überlebensrate von ipipgo kann mehr als 98% erreichen.

F: Wie viele IPs sind erforderlich, um ausreichend zu sein?
A：Nach unserem Stresstest ist es bei 1.000 Anfragen pro Stunde sicherer, 50 IPs für die Rotation vorzubereiten. ipipgos Paket verfügt über einen dynamischen IP-Pool, der automatisch neue IPs auffüllt.

Verbessertes Erfassungsprogramm

Die ultimative Lösung für die Reachers:
1. einen verteilten Crawler mit dem Scrapy-Framework aufzubauen
2. den Zugang zur API von ipipgo, um die neuesten Proxy-IPs zu erhalten.
3. auf Cloud-Servern bereitstellen und regelmäßig ausführen
4. automatische Speicherung der Daten in der Datenbank MongoDB
Nachdem alle Prozesse durchlaufen sind, richten Sie einen WeChat-Roboter ein, der jeden Tag, bevor Sie zur Arbeit gehen, automatisch den Bericht an Ihr Mobiltelefon sendet, gorgeous~.

Zusammenfassend lässt sich sagen, dass die Datenerhebung einem Guerillakrieg gleicht.schnell, genau und stabilUnser Team testet den Proxy-Service von ipipgo seit drei Monaten und die Stabilität ist wirklich unschlagbar. Besonders ihreDynamische Wohn-IPDie LinkedIn-Daten können lokal abgerufen werden, und das Anti-Climbing-System kann sie überhaupt nicht abfangen. Wenn Sie auf die offizielle Website gehen müssen, um einen Blick, neue Benutzer zu senden 1G Verkehr Versuch, genug für Sie, um die grundlegenden Funktionen zu testen.