LinkedIn Agent : une solution sécurisée et efficace pour capturer les données de recrutement

Les données de recrutement de LinkedIn sont toujours bloquées ? Essayez ceci.

Des amis recruteurs se sont plaints récemment, l'utilisation de crawlers pour capturer des données LinkedIn ne peut pas être bloquée. Il y a un frère chasseur de têtes qui est encore pire, il a même changé 5 comptes qui sont bloqués. En fait, cette affaire n'est pas vraiment à mettre sur le compte de la plateforme, le mécanisme anti-escalade est maintenant très fin, l'accès à haute fréquence à la même IP devient immédiatement un feu rouge.

Pourquoi avez-vous besoin d'une adresse IP proxy pour les données ?

Par exemple, si vous vivez dans la zone du soleil levant et que vous vous rendez tous les jours dans la même supérette pour acheter de l'eau, le troisième jour, le patron devrait se douter que vous êtes là pour marcher sur les plates-bandes de l'entreprise.Les visites à haute fréquence sur un seul IP seront cibléesLa première chose à faire est d'utiliser une adresse IP proxy pour entrer dans le magasin tous les jours. Utiliser une IP proxy équivaut à entrer dans le magasin dans une robe différente chaque jour, et le patron ne se souvient pas du tout de vous.

C'est là que le bât blesse :

• Pool dynamique d'adresses IP prêt pour une rotation d'au moins 200+ adresses IP
• Ne soyez pas trop régulier dans l'intervalle de chaque visite, comme une opération manuelle humaine avec un peu d'aléatoire.
• Il est préférable d'utiliser une adresse IP résidentielle, les adresses IP des salles de serveurs étant facilement identifiables.

Apprentissage pratique de l'IP par procuration

Voici un marronnier avec le service d'ipipgo, spécialisé dans ce domaine. Tout d'abord, ouvrez un compte dans le backend et sélectionnezAgents résidentiels dynamiquesPaquet. Faites attention à ces deux paramètres :

N'oubliez pas d'ajouter ces trois lignes de code lors de la configuration du script :

proxy = {
    'http' : 'http://用户名:密码@gateway.ipipgo.com:端口',
    'https' : 'http://用户名:密码@gateway.ipipgo.com:端口'
}

Ne marchez pas sur ces nids-de-poule.

L'année dernière, un client était avide de proxy gratuit bon marché, le résultat du crawling vers les données sont tous les sites de phishing fausse page. Voici un rappel de trois points :

1. 别用IP，识别率高达90%
2. L'intervalle de commutation IP ne doit pas être inférieur à 30 secondes.
3. Notez l'empreinte digitale du navigateur dans l'en-tête de la requête

Si vous n'êtes pas sûr du réglage des paramètres, adressez-vous directement au service technique clientèle d'ipipgo, qui pourra vous aider à distance à ajuster la configuration. La dernière fois qu'un client a jeté trois jours sans y parvenir, le service clientèle a compris en dix minutes.

Foire aux questions QA

Q : Dois-je utiliser un proxy payant ?
R : Une utilisation temporaire peut trouver un pool d'IP partagé, mais la stabilité à long terme doit également être un service professionnel. Les nouveaux utilisateurs d'ipipgo bénéficient d'un essai gratuit de 3 jours, essayez-le vous-même pour voir la différence.

Q : Quel est le volume d'IP nécessaire par jour ?
R : Examinez la taille des données. Les chasseurs de têtes ordinaires peuvent se contenter de 200 à 500 adresses IP par jour, alors que si vous faites de l'analyse de données volumineuses, vous devez en avoir des milliers. Il est recommandé d'acheter un petit paquet pour le tester, et l'assistance d'ipipgo peut être mise à niveau à tout moment.

Q : Vais-je être poursuivi par LinkedIn ?
Le pool d'adresses IP d'ipipgo est doté d'attributs de conformité, à condition de ne pas toucher aux champs sensibles.

Dites la vérité.

Aujourd'hui, la collecte de données s'apparente à une guérilla, les algorithmes de la plate-forme étant mis à jour tous les mois. Avec ipipgo, ce type de service est principalement une vue de l'esprit, leur bibliothèque IP automatiquement mise à jour chaque semaine 15%, le blocage rencontré peut également être coupé en quelques secondes ligne de rechange. Après la dernière mise à jour, davantage de nœuds IP au Moyen-Orient, la recherche d'informations sur le recrutement dans l'industrie pétrolière est particulièrement bonne.

Un dernier rappel : n'utilisez pas de délais retardés comme sleep(1) dans votre crawler, apprenez des gens qui utilisent des nombres aléatoires. Par exemple, random.uniform(0.5,3.5), afin que le rythme d'accès soit plus proche de celui d'une personne réelle. Ces détails de la documentation technique de l'ipipgo ont été écrits, plus de regard peut être moins de détour.