LinkedIn Crawl : Collecte de données par proxy sur LinkedIn

Pourquoi dois-je utiliser des proxys pour les données de LinkedIn ?

Les propriétaires d'entreprises à l'étranger doivent comprendre que si vous voulez extraire des informations sur les clients de LinkedIn, vous pouvez copier et coller manuellement les informations jusqu'à ce que mort s'ensuive. Si vous utilisez un robot d'indexation, il vous suffira de saisir deux pages du compte pour être bloqué à mort. À l'heure actuelle, vous devez vous appuyer sur l'IP proxy pourSe faire passer pour un utilisateur réel dans une autre régionLe pool d'adresses IP résidentielles dynamiques d'ipipgo est testé pour supporter le mécanisme anti-crawl de LinkedIn.

Quels sont les principaux indicateurs à prendre en compte lors du choix d'une IP proxy ?

Les prestataires de services d'agence présents sur le marché gaspillent beaucoup d'argent, nous devons nous intéresser à la réalité :

ipipgo fait un très bon travail dans ces domaines, en particulier leurIP Système d'inspection sanitaireChaque fois qu'il attribue une adresse IP, il vérifie l'état de la liste noire.

Configuration pratique

En utilisant la bibliothèque de requêtes de Python comme exemple, configurez-la de cette manière avec le service proxy d'ipipgo :

demandes d'importation

proxies = {
    'http' : 'http://用户名:密码@gateway.ipipgo.com:9020',
    'https' : 'http://用户名:密码@gateway.ipipgo.com:9020'
}

resp = requests.get(
    'https://www.linkedin.com/sales/search/people',
    headers={'User-Agent' : 'Mozilla/5.0'}
    headers={'User-Agent' : 'Mozilla/5.0'}
)

Veillez à mettreNom d'utilisateur et mot de passeRemplacez-la par les informations d'authentification que vous obtenez dans le backend d'ipipgo, et il est recommandé de changer l'IP toutes les 20 captures, ne pas attraper une IP à la mort.

Trois manœuvres scabreuses pour éviter d'être bloqué

1. Simulation du travail et du repos des travailleursCollecte des données : de 9 heures à 18 heures en semaine et le week-end.
2. Randomisation de la piste de la souris: Glissement mécanique linéaire altéré
3. Déguisement de l'e-mail de l'entreprise: Saisir les données avec le paramètre email du nom de domaine de l'entreprise.

Session d'assurance qualité

Q : Pourquoi suis-je toujours bloqué après avoir utilisé un proxy ?
R : il se peut que l'IP du centre de données ait été utilisée, il faut donc changer d'ipipgo.IP dynamique résidentielLeur banque d'adresses IP domestique de 90% ou plus est à large bande domestique.

Q : Dois-je maintenir mon propre pool d'adresses IP ?
R : Jamais ! L'arrière-plan d'ipipgo rejette automatiquement les adresses IP non valides, ce qui est beaucoup plus fiable qu'une maintenance manuelle.

Q : Combien de fils peuvent être ouverts en même temps ?
R : Il est recommandé aux novices de ne pas dépasser 5 threads, et aux anciens conducteurs de ne pas dépasser 15 threads.Ajustement intelligent des tauxFonctionnalité

Ne marchez pas sur ces nids-de-poule.

J'ai vu certaines personnes acheter des IP partagées pour pas cher, et en conséquence, des dizaines de personnes utilisent la même IP pour capturer des données en même temps, et leurs comptes sont directement bloqués pour toujours. Il y a aussi IronBean open proxy qui attrape continuellement 8 heures, LinkedIn n'est pas un imbécile. Suggérer d'utiliser ipipgoMode veille automatiqueC'est la même chose que dans la vie réelle.

Enfin, pour être honnête, si vous voulez obtenir régulièrement des données LinkedIn, vous devez être prêt à dépenser de l'argent pour des proxys. ipipgo a récemment fait des activités, les nouveaux utilisateurs obtiennent 5G de trafic, ce qui est suffisant pour tester pendant un demi-mois. N'oubliez pas d'utiliser leurAgents résidentiels dynamiquesNe le choisissez pas comme IP statique d'entreprise, cette merde est faite pour autre chose.