Datenplattform für die Personalbeschaffung: Indeed/Glassdoor Datenquelle

Das größte Kopfzerbrechen bei der Arbeit mit Einstellungsdaten

Jeder, der Daten für Einstellungsplattformen durchsucht, weiß, dass Websites wie Indeed und GlassdoorDie Crawler-Sicherung ist strenger als die Diebstahlsicherung. Ich habe erst vorgestern ein Skript geschrieben, und heute hat es einen 403-Fehler ausgelöst, und die IP wurde direkt auf die schwarze Liste gesetzt. Was noch besser ist, ist ihr CAPTCHA-System. Manchmal kann nicht einmal das menschliche Auge erkennen, ob es sich um einen Buchstaben oder ein abstraktes Gemälde handelt.

Ein Kunde, der ein Headhunting-System betreibt, beschwerte sich bei mir, dass sein Team die IP-Adresse sieben oder acht Mal am Tag manuell ändern musste. Am schlimmsten ist es, wenn man um 3 Uhr morgens vom Telefon des Chefs geweckt wird, weil sich das Crawler-Programm am nächsten Tag verklemmt, so dass keine Daten verfügbar sind. Diese Art von bitterer Erfahrung, diejenigen, die in engagiert haben, wissen, wie verheerend.

Proxy-IPs sind das einzig Wahre.

Wenn Sie konsequent Einstellungsdaten erfassen wollen, konzentrieren Sie sich aufZugang als normaler Benutzer tarnenDas Geheimnis ist dreifach. Hier, um einen realen Fall zu sagen: ein HR SaaS-Unternehmen mit ipipgo's Resident Agent Service, die Datenerfassung Erfolgsquote direkt von 37% stieg auf 92%. Geheimnis auf drei:

Achten Sie bei der Verwendung von ipipgo auf diese beiden Parametereinstellungen:Verlangen Sie nicht weniger als 5 Sekunden zwischen den Anfragen(math.) GattungVerwenden Sie eine einzelne IP nicht länger als 30 MinutenAls Erstes müssen Sie sicherstellen, dass Sie das richtige Skript für diese Aufgabe haben. Ich habe schon Leute gesehen, die mit einem Skript zum Fondue gegangen sind und bei ihrer Rückkehr feststellen mussten, dass ihre IP-Adresse gesperrt war - machen Sie also nicht diesen Fehler.

Praktische Konfiguration

Hier ein Beispiel in Python: Vergessen Sie nicht, die von ipipgo bereitgestellten Authentifizierungsinformationen einzugeben:

proxies = {
  "http": "http://用户名:密码@gateway.ipipgo.com:端口",
  "https": "http://用户名:密码@gateway.ipipgo.com:端口"
}
response = requests.get(url, proxies=proxies, timeout=10)

Konzentrieren Sie sich auf drei Gruben:
1. verwenden Sie keine kostenlosen Proxys, die Geschwindigkeit ist so langsam wie eine Schnecke, ganz zu schweigen davon, dass die Daten auch abgefangen werden können.
2. nicht hart sein, wenn es um CAPTCHA kommt, sollten Sie auf die Codierung Plattform gehen.
3) Löschen Sie regelmäßig die Cookies, damit sich die Website nicht an Ihre Crawler-Merkmale erinnert.

Leitlinien zur Minenräumung bei gemeinsamen Problemen

F: Warum werde ich mit einer Proxy-IP immer noch blockiert?
A: Prüfen Sie, ob die IP-Wechselhäufigkeit nicht ausreicht oder die Anfragen zu intensiv sind. Es wird empfohlen, ipipgo'sAutomatik-RotationsbetriebDie neue IP wird für jede Anfrage verwendet.

F: Wie viel IP-Volumen muss ich vorbereiten, um ausreichend zu sein?
A: 200-300 hochwertige IPs sind ausreichend für 10.000 Daten pro Tag. ipipgo's Pakete beinhaltenDynamischer IP-PoolSie müssen Ihr eigenes Volumen nicht aufrechterhalten.

F: Was sollte ich tun, wenn ich auf den Schutz von Cloudflare stoße?
A: Verbergen Sie den Request-Header in seiner Gesamtheit, insbesondere User-Agent und Referer. ipipgo'sBrowser-FingerprintingSie können diese Parameter automatisch übernehmen

Drei eiserne Regeln für die Auswahl eines Dienstanbieters

1. auf die Reinheit der IP achten: Die IPs vieler Agenten sind seit langem auf Rekrutierungs-Websites, ipipgoIP-Pool für PrivatpersonenDreimal pro Woche aktualisiert
(2) Messung der Reaktionsgeschwindigkeit: weniger als 800 ms können nur verwendet werden, glauben Sie nicht, die Prahlerei über 200 ms
3. die Protokollunterstützung überprüfen: muss auch HTTP/HTTPS/SOCKS5 unterstützen, einige der alten Systeme erkannten nur bestimmte Protokolle

Eine letzte Erkenntnis: Die Häufigkeitsgrenze für Glassdoor-Besuche liegt beiNach BundeslandDie. Wenn Sie ipipgo verwenden, um zwischen IPs in verschiedenen Regionen zu wechseln, können Sie 30% mehr Daten abrufen als mit einer festen IP. Dies sind unsere echten Test aus der Erfahrung, nehmen Sie es direkt verwenden nicht höflich sein.