Méthode d'exportation de la liste des offres d'emploi en ligne : exportation des données de l'agent des offres d'emploi vers Excel

I. Pourquoi l'exportation de données est-elle toujours bloquée ? Essayez cette méthode

Récemment, beaucoup d'amis RH se sont plaints à moi, en utilisant la plateforme de recrutement pour guider les données de l'emploi, soit bloqué dans le code de vérification ou directement bloqué IP. Cette chose est franchement comme un centre commercial pour essayer de manger, vous prenez trop et ne changez pas l'assiette, sûrement par le serveur regardé ah ! C'est le moment d'utiliserIP proxyCe "dispositif d'occultation" fait croire au système que c'est une personne différente qui effectue chaque opération.

Pour donner un exemple concret : j'ai un ami chasseur de têtes, qui utilise la méthode ordinaire pour sélectionner et extraire certaines données relatives à l'emploi, le résultat n'est qu'un guide de 20 éléments qui seront bloqués. Plus tard, il a opté pour une adresse IP résidentielle dynamique et, grâce aux outils d'automatisation, il peut exporter en une journée plus de 3 000 informations sur l'emploi, les données clés telles que la fourchette de salaire et les exigences du poste pouvant être entièrement sauvegardées.

Deuxièmement, il s'agit de vous apprendre à utiliser un proxy pour voler des données IP.

Recommandé iciLes forfaits résidentiels dynamiques d'ipipgoqui fonctionne en trois étapes :

import requests
from fake_useragent import UserAgent
import pandas as pd

 Mise en place d'un proxy (en utilisant ipipgo comme exemple)
proxy = {
    'http' : 'http://用户名:密码@gateway.ipipgo.com:端口',
    'https' : 'https://用户名:密码@gateway.ipipgo.com:端口'
}

headers = {'User-Agent' : UserAgent().random}

 Simulation d'un crawl de feuilletage de pages
data_list = []
for page in range(1, 11) : url = f "{page}".
    url = f "https://jobsite.com/search?page={page}"
    response = requests.get(url, proxies=proxy, headers=headers)
     Analyse des données dans data_list...

 Exportation vers Excel
df = pd.DataFrame(data_list)
df.to_excel('job_list.xlsx', index=False)

Attention à ne pas marcher dans ces deux nids-de-poule :

1. ne pas utiliser les adresses IP des centres de données, qui peuvent être facilement identifiées comme du trafic de machines
2. chaque intervalle de demande est fixé à 3-5 secondes, ce qui est trop rapide même si l'IP déclenche le contrôle du vent

Troisièmement, quelle formule choisir pour chaque entreprise ?

IV. les lignes directrices en matière de premiers secours pour les situations de renversement les plus courantes

Q : Pourquoi êtes-vous toujours bloqué alors que vous avez changé d'adresse IP ?
R : 80% des empreintes digitales des navigateurs ne sont pas gérées correctement, il est recommandé d'utiliser un navigateur sans tête + une combinaison d'UA aléatoire. Le client ipipgo est doté d'une fonction de camouflage des empreintes digitales, vous pouvez essayer leur ligne TK.

Q：Que dois-je faire si les données exportées sont toujours incomplètes ?
R : Vérifiez les points suivants :
1) S'agit-il d'une stratégie anti-escalade améliorée (par exemple, une nouvelle vérification homme-machine) ?
2. si la région porteuse de l'adresse IP du proxy correspond au site web cible
3. si le paramètre Accept-Language de l'en-tête de la demande a été modifié de manière aléatoire ou non.

Q : Trop lent lorsqu'il y a beaucoup de données ?
R : Il est recommandé d'utiliser leur ligne transfrontalière, qui est trois fois plus rapide que la ligne ordinaire. Si le budget est suffisant, il est possible d'utiliser directement l'IP résidentielle statique avec le multithreading, une heure pour récupérer la quantité d'autres personnes par jour.

V. Pourquoi choisir ipipgo et pas d'autres ?

La dernière fois que j'ai réalisé une analyse concurrentielle pour un client, j'ai constaté que cetteLigne TKC'est vraiment quelque chose. En particulier lorsqu'il s'agit de certains sites protégés par Cloudflare, le taux de réussite peut atteindre 92%, ce qui est beaucoup plus élevé que celui des proxies ordinaires. Et leur client est livré avec une fonction de commutation intelligente, rencontrer CAPTCHA automatiquement changer l'IP, ce point est particulièrement favorable à la blanche.

La tarification est également très souple, comme la version standard de Dynamic Residential, qui permet le paiement en fonction du volume, de sorte que les petites équipes peuvent l'utiliser sans pression. Si vous ne pouvez pas accéder à l'interface technique, ils peuvent également fournir un programme de collecte prêt à l'emploi, ce qui est beaucoup plus facile que de le jeter soi-même. Récemment, il semble que les nouveaux utilisateurs envoient 5 IP statiques, si vous avez besoin d'aller sur le site officiel pour jeter un coup d'œil.