Crawlers vs. crawling : analyse d'une solution technique

Pourquoi les robots d'indexation sont-ils toujours bloqués ? Il vous manque peut-être cet outil magique

Des amis crawlers ont déjà rencontré cette situation : le code ne pose manifestement pas de problème, mais il fonctionne sur le bout de l'erreur 403, ou directement par le site cible noir. A ce moment là, ne vous empressez pas de douter de la vie, quatre-vingt pour cent de votre adresse IP a été identifiée par l'autre côté. Tout comme nous allons au supermarché pour essayer de manger, nous portons toujours les mêmes vêtements pour y aller, les gardes de sécurité ne vous fixent pas pour fixer qui ?

Naked Crawler vs Proxy Crawler en action

Examinons un cas réel : un projet de surveillance des prix sur une plateforme de commerce électronique, avec la collecte continue d'un crawler ordinaire pendant 3 heures après le déclenchement de l'interdiction, remplacé par un programme d'IP proxy après 72 heures de fonctionnement stable. La porte d'entrée est en fait constituée de deux points :

 Common Crawler (Mode à haut risque)
importer les requêtes
for page in range(1,100) :
    response = requests.get(f "https://xxx.com/list?page={page}")

 Crawler proxy (mode sécurisé)
import requêtes
proxies = {
    'http' : 'http://ipipgo-rotate:password@gateway.ipipgo.com:8000',
    'https' : 'http://ipipgo-rotate:password@gateway.ipipgo.com:8000'
}
for page in range(1,100) : response = requests.get(f "{page}, proxies=proxies)
    response = requests.get(f "https://xxx.com/list?page={page}", proxies=proxies)

Vous voyez ? C'est la clé.Paramètres des mandatairesLe service de proxy dynamique d'ipipgo vous donnera automatiquement un changement d'armure, chaque demande est comme un nouveau vêtement à essayer de manger, le site ne peut pas être trouvé pour être les mêmes "mangeurs".

Trois conseils pratiques pour les IP proxy

Ce n'est pas n'importe quel agent qui fera l'affaire, il y a beaucoup plus que cela :

Rappel spécial : ne paniquez pas lorsque vous rencontrez un captcha, ipipgo'sFonction de routage intelligentLa possibilité de commuter automatiquement des segments IP à taux de réussite élevé est beaucoup plus fiable que les tâtonnements humains.

Un guide pour éviter les pièges de l'homme blanc

Les débutants qui commencent à utiliser des serveurs mandataires commettent souvent ces erreurs :
1. utiliser l'adresse IP du proxy comme un héritage familial (il est recommandé de ne pas utiliser une seule adresse IP pendant plus de 5 minutes)
2. ignorer les intervalles de requête (même si vous changez d'adresse IP, si vous cliquez 10 fois en 1 seconde, vous serez exposé).
3. les certificats SSL ne sont pas traités (les demandes https nécessitent une configuration spéciale)

Un modèle de configuration universel est donné ici :

Importation de requêtes
from random import uniform

proxies = {
    'https' : 'http://your_account:token@gateway.ipipgo.com:8000'
}

for url in target_list.
    response = requests.get(
        url,
        proxies=proxies, verify='ipipgo_ca.pem', certificat CA officiellement fourni
        verify='ipipgo_ca.pem', certificat de l'autorité de certification officiellement fourni
        headers={'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64) AppleWebKit/537.36...'} ,
        timeout=15
    )
    time.sleep(uniform(1,3)) Les intervalles aléatoires sont plus naturels.

séance de questions-réponses

Q : L'agent libre ne peut-il pas être utilisé ?
R : Ce n'est pas qu'il ne fonctionne pas, c'est qu'il y a trop d'inconvénients. Nous avons fait des tests, le temps de survie moyen des agents libres est inférieur à 7 minutes, et il y a un risque de falsification des données avec 30%. L'agent de qualité commerciale d'ipipgo est livré avec une étiquette de sécurité.cryptage des donnéesrépondre en chantantétalonnage de la réponseLa méthode d'évaluation de la qualité de l'eau de mer est un peu différente de celle de l'eau de mer.

Q : Comment puis-je savoir si la procuration est active ?
R : Une visite à http://echo.ipipgo.com/, une interface de détection exclusive, renvoie des informations sur l'IP de sortie actuellement utilisée.

Q : Que dois-je faire si un site web me demande de me connecter ?
R : Créé dans la console ipipgoAgents de maintien de la sessionCe type d'IP peut conserver l'état du cookie et est particulièrement adapté aux scénarios de collecte qui nécessitent une connexion.

Q : Qu'est-ce qui rend votre famille meilleure que les autres ?
R : Trois avantages indéniables : ① Soutien auxChanger de ville à la demandeLa fonction de positionnement ② les demandes qui échouent sont automatiquement réessayées sans frais ③ une réponse technique 7 × 24 heures, la dernière fois que j'ai mentionné deux heures au milieu de la nuit, c'est en fait quelques secondes après l'ordre de travail !

Soyons réalistes.

L'IP Proxy, c'est une aubaine pour les bons et une machine à brûler pour les mauvais. Il est recommandé aux nouveaux arrivants de consulter d'abord le site web d'ipipgo.forfait de paiement à l'utilisationPour commencer, ils envoient 1G de trafic gratuit par jour pour tester, ce qui est suffisant pour exécuter le processus commercial. N'oubliez pas : collecte de données stables = agents de qualité + stratégie solide, l'un ne va pas sans l'autre.