Plate-forme de données de recrutement : Indeed/Glassdoor Source de données

Le plus grand casse-tête du travail avec les données de recrutement

Tous ceux qui font de l'exploration de données pour des plateformes de recrutement savent que des sites comme Indeed et GlassdoorLa protection contre les chenilles est plus stricte que la protection contre les voleurs. J'ai écrit un script avant-hier, et aujourd'hui il a généré une erreur 403, et l'IP a été directement mise sur liste noire. Ce qui est encore mieux, c'est leur système CAPTCHA, parfois même l'œil humain ne peut pas dire s'il s'agit d'une lettre ou d'une peinture abstraite.

Un client qui utilise un système de chasseur de têtes s'est plaint à moi que son équipe devait changer manuellement l'adresse IP sept ou huit fois par jour. Le pire moment, c'est à 3 heures du matin que le téléphone du patron l'a réveillé, parce que le programme d'exploration s'est bloqué le lendemain, ce qui fait qu'il n'y a pas de données disponibles. Ceux qui ont vécu ce genre d'expérience amère savent à quel point elle est dévastatrice.

Les adresses IP par procuration sont une véritable affaire.

Vous souhaitez obtenir des données sur le recrutement de manière cohérente, concentrez-vous sur les points suivantsDéguiser l'accès en utilisateur normalLe secret est triple. Voici un cas concret : une entreprise de SaaS RH a utilisé le service d'agent résidentiel d'ipipgo, le taux de réussite de l'acquisition de données est passé directement de 371 à 921 points de pourcentage :

Attention à ces deux paramètres lors de l'utilisation d'ipipgo :Ne pas demander moins de 5 secondes entre les demandes(math.) genreN'utilisez pas une seule adresse IP pendant plus de 30 minutes.La première chose à faire est de s'assurer que vous avez le bon script pour le travail. J'ai vu des gens partir à la fondue avec des scripts, pour revenir et trouver leur IP bloquée, alors ne faites pas ce genre d'erreur de bas étage.

Configuration pratique

Voici un marronnier en Python, n'oubliez pas de remplir les informations d'authentification fournies par ipipgo :

proxies = {
  "http" : "http://用户名:密码@gateway.ipipgo.com:端口",
  "https" : "http://用户名:密码@gateway.ipipgo.com:端口"
}
response = requests.get(url, proxies=proxies, timeout=10)

Concentrez-vous sur trois fosses :
1) N'utilisez pas de proxies gratuits, la vitesse est aussi lente qu'un escargot, sans compter que les données peuvent également être interceptées.
2) Ne soyez pas dur en ce qui concerne le CAPTCHA, vous devriez aller à la plateforme de codage.
3. effacer régulièrement les cookies, ne pas laisser le site se souvenir des caractéristiques de votre crawler

Lignes directrices sur le déminage des problèmes courants

Q : Pourquoi suis-je toujours bloqué avec une adresse IP proxy ?
R : Vérifiez si la fréquence de commutation IP n'est pas suffisante ou si les demandes sont trop intensives. Il est recommandé d'utiliser la fonctionmode auto-rotationLa nouvelle adresse IP sera utilisée pour chaque demande.

Q : Quel volume de propriété intellectuelle dois-je préparer pour être suffisant ?
R : 200 à 300 IP de haute qualité suffisent pour 10 000 données par jour. Les forfaits d'ipipgo comprennentPool IP dynamiqueIl n'est pas nécessaire de gérer soi-même les quantités

Q : Que dois-je faire si je rencontre une protection Cloudflare ?
R : Masquer l'en-tête de la requête dans son intégralité, en particulier User-Agent et Referer. ipipgo'sEmpreintes digitales des navigateursVous pouvez prendre en charge ces paramètres automatiquement

Trois règles d'or pour le choix d'un prestataire de services

1. la pureté de l'IP : les IP de nombreux agents sont depuis longtemps marqués par des sites d'emploi, ipipgo, etc.Piscine résidentielle IPMise à jour trois fois par semaine
2) Mesure de la vitesse de réponse : moins de 800 ms ne peuvent être utilisés, ne croyez pas ceux qui se vantent de 200 ms.
3) Vérifier la prise en charge du protocole : doit également prendre en charge HTTP/HTTPS/SOCKS5, certains anciens systèmes ne reconnaissant que des protocoles spécifiques.

Une dernière chose à savoir : la limite de fréquence des visites sur Glassdoor est la suivantePar ÉtatLe. L'utilisation d'ipipgo pour changer d'IP dans différentes régions permet de récupérer 30% plus de données qu'une IP fixe. Il s'agit de notre véritable test de l'expérience, prenez-le directement et ne soyez pas polis.