Outil d'exploration de Crunchbase : solution d'exploration de données pour les entreprises

Regardez ici si vous êtes dans le domaine des données ! L'épuration des IP par proxy pour Crunchbase

Récemment, beaucoup d'amis du cercle des entrepreneurs se sont plaints à moi, disant que les données d'entreprise sur Crunchbase sont convoitées, mais que la copie manuelle peut leur briser les mains. Ne vous inquiétez pas, aujourd'hui nous allons vous expliquer comment utiliser l'IP proxy, ces informations sur le financement, les informations sur le fondateur dans un seul pot !

Pourquoi les crawlers traditionnels font-ils toujours flop ?

Quiconque a déjà utilisé un crawler sait que les mesures anti-escalade sur des sites comme Crunchbase sont plus fortes qu'une porte de sécurité. Si vous essayez de lutter directement, l'IP sera bloquée en moins d'une demi-heure. J'ai vu le copain le plus misérable, une nuit pour changer 8 IP ne sont pas faites, en colère presque écrasé le clavier.

Principaux points de basculement :

• Les demandes trop fréquentes déclenchent immédiatement une alerte
• L'accès permanent à un seul IP est un moyen infaillible de se faire exclure.
• Les données chargées dynamiquement ne peuvent pas être détectées par les robots d'indexation ordinaires.

La bonne façon d'ouvrir un proxy IP

C'est là que nous devons sortir notre sauveur - le service proxy d'ipipgo. Leur IP proxy résidentiel est particulièrement adapté à ce besoin de scénarios de combat à long terme, le test réel avec leurs services pendant trois jours consécutifs n'a pas été bloqué.

importation de requêtes
from itertools import cycle

 Proxies fournis par ipipgo
proxies = [
    "http://user:pass@gateway.ipipgo:9020",
    "http://user:pass@gateway.ipipgo:9021".
     ... Préparer au moins 20 IP
]
proxy_pool = cycle(proxies)

url = "https://www.crunchbase.com/organization/example"

for _ in range(50) :
    proxy = next(proxy_pool)
    try : response = requests.get(url, timeout=10)
        response = requests.get(url, proxies={"http" : proxy}, timeout=10)
         Traitement de la logique des données...
    except : print(f "http" : proxy})
        print(f "{proxy} accroché, passez au suivant !")

Guide pratique pour éviter la fosse

Il ne suffit pas d'avoir un agent, il faut être stratégique. Lorsque j'ai aidé un client à cartographier son entreprise, j'ai constaté que ces configurations étaient particulièrement importantes :

Temps consacré à l'AQ (Questions fréquemment posées par Old Iron)

Q : L'utilisation d'un proxy IP est-elle légale ?
R : Tant qu'il n'y a pas de sabotage, la simple collecte de données publiques ne pose aucun problème. Toutes les adresses IP d'ipipgo sont conformes aux lois et réglementations locales, vous pouvez donc en être assuré.

Q : Pourquoi mon agent est-il toujours reconnu ?
R : Il se peut que la qualité de l'IP ne soit pas bonne. Il est recommandé de modifier l'adresse ipgoAgents résidentiels dynamiquesLeur pool d'IP est renouvelé quotidiennement à 201 TP3T et a été personnellement testé avec un taux de détection inférieur à 31 TP3T.

Q : Que dois-je faire si je rencontre un CAPTCHA ?
R : Ne procédez pas à la manière forte ! Désactivez immédiatement l'adresse IP actuelle, attendez une demi-heure et réessayez. Vous pouvez aussi faire appel à un service de reconnaissance d'images, mais le coût est plus élevé.

Dites quelque chose qui vient du cœur.

L'année dernière, pour aider une agence de recrutement à collecter des données, elle a commencé à faire des calculs bon marché avec des agents libres, et les résultats n'ont été obtenus qu'au bout de trois jours. Après avoir adopté le progiciel personnalisé d'ipipgo, l'efficacité de la collecte a été multipliée par six. En particulier, leurRoutage intelligentpermet d'éviter automatiquement les segments IP à haut risque, ce qui vous sauve vraiment la mise.

Enfin, je voudrais vous rappeler que l'exploration de données est une affaire de flux lent et régulier. En répartissant la demande sur différentes IP, avec des temps d'attente aléatoires, même le système anti-escalade le plus stable peut se dégrader lentement. Si vous avez des questions spécifiques, n'hésitez pas à les poser, nous y répondrons !