Technologie Crawler pour collecter des données Paramètres IP : schéma de configuration proxy anti-blocage

Tout d'abord, pourquoi les robots d'indexation doivent-ils utiliser des proxys ? Tout commence par un jeu du chat et de la souris.

Les confrères qui se sont engagés dans la collecte de données savent que le sceau IP du site web est plus diligent que la police municipale pour attraper les marchands ambulants. Il y a deux jours, un ami commerçant en ligne s'est plaint à moi, il a écrit un script de crawler qui s'exécute soudainement 404 - les résultats d'une vérification, le site cible directement à l'IP de son serveur pour tirer le noir. Si vous installez un proxy à l'avance, c'est comme un voile pour le crawler, et l'IP peut être changée à tout moment, de sorte qu'il n'y a pas d'inconvénient à ce qu'il soit bloqué.

Pour donner un exemple concret : vous voulez capter les données de prix d'une plateforme d'achat, si vous utilisez toujours la même IP de requête folle, le serveur n'est pas dupe. Mais si chaque requête est une IP d'exportation différente, avec l'intervalle de requête approprié, la probabilité de se faire attraper est directement réduite de moitié. La clé ici estFaire en sorte que le site cible ait l'impression que les demandes proviennent de différents utilisateurs réels..

Deuxièmement, la sélection des trois fosses par proxy IP, 90% novices ont planté

Il existe toutes sortes de services proxy sur le marché, mais choisir le mauvais type peut être pire que de ne pas l'utiliser. La semaine dernière, un client a acheté à bas prix l'adresse IP d'un centre de données et, en conséquence, une plateforme sociale a déclenché un contrôle de vent lors de la collecte des données, et les données n'ont pas été obtenues, mais l'agent a également perdu de l'argent.

1. IP résidentielle contre IP de salle de serveur :
L'IP résidentielle (telle que le Dynamic Residential Package d'ipipgo) va de pair avec le haut débit à domicile et est classée dans la bibliothèque IP, ce qui la rend adaptée aux scénarios qui requièrent un anonymat élevé. Bien que l'IP de la salle des serveurs soit moins chère, ses caractéristiques sont trop évidentes et de nombreux sites sont directement bloqués.

2) La fréquence de rotation est très exigeante :
L'offre Dynamic Residential Enterprise Edition d'ipipgo contient plus de 200 rotations d'IP par gigaoctet de trafic, ce qui est plus que la version standard de 50% de volume d'IP, adaptée aux besoins de collecte à haute fréquence.

 Exemple de proxy de configuration de requêtes en Python (format d'extraction de l'API d'ipipgo)
importer des requêtes

proxy = {
    'http' : 'http://用户名:密码@gateway.ipipgo.com:端口',
    'https' : 'http://用户名:密码@gateway.ipipgo.com:端口'
}

response = requests.get('destination URL', proxies=proxy, timeout=10)

3. ne pas faire l'imbécile sur la concordance des protocoles :
Certains sites détectent le type d'accord de procuration, ce dont il faut tenir compte :

Troisièmement, l'anti-scellement pratique quatre axes, pro-testing efficace de la route sauvage

L'agent seul ne suffit pas, avec l'utilisation de compétences. Auparavant, pour aider un comparateur de prix à faire le programme, avec les astuces suivantes stable fonctionner pendant une demi-année sans être bloqué :

1) Ne soyez pas paresseux dans la rotation de vos adresses IP :
Ne pensez pas que la mise en place d'un pool de proxy est la fin de l'affaire, il doit être ajusté dynamiquement en fonction de la force de l'anti-climbing du site. Il doit être ajusté dynamiquement en fonction de la force de l'anti-escalade du site :
- Site web ordinaire : l'IP change toutes les 50 requêtes
- Anti-escalade intermédiaire : changement d'IP + changement d'UA toutes les 20 demandes
- Niveau métamorphose anti-escalade : chaque demande de changement d'IP + simuler le tracé de la souris

2. la fréquence des demandes auxquelles il est donné suite :
Ne vous contentez pas de demandes fixes d'une seconde, comment les humains peuvent-ils être aussi ponctuels ? Essayez des intervalles aléatoires :

import random
Importation du temps

 Générer une attente aléatoire entre 0,5 et 3 secondes
time.sleep(random.uniform(0.5, 3))

3) Ne donnez pas l'intitulé de la demande :
Détail que beaucoup de gens négligent : certains sites vérifient l'ordre des en-têtes des requêtes. Au lieu d'utiliser directement les en-têtes par défaut pour les requêtes, il est recommandé de copier l'ensemble des en-têtes d'un vrai navigateur.

4. être intelligent dans l'échec des tentatives de réessai :
Ne vous empressez pas de réessayer lorsque vous obtenez une erreur 403/429, laissez l'agent se reposer un moment :

retry_count = 0
while retry_count < 3: : retry_count = 0
    try.
         Code de la demande
        break
    except Exception as e.
        retry_count += 1
        time.sleep(2 retry_count) tentative exponentielle
         Changement de l'IP du proxy
        update_proxy()

IV. kit de premiers secours pour les problèmes courants

Q : Que dois-je faire si l'IP de mon proxy est lente ?
A：先检查本地网络，再用ipipgo客户端测试不同地域节点。跨境采集建议选他们的Paquet de lignes dédiées internationalessoit plus de trois fois plus rapide que la ligne régulière.

Q : Comment puis-je savoir si la procuration est active ?
R : Visitez http://ip.ipipgo.com/checkip pour voir l'IP d'exportation actuelle. Il est recommandé d'ajouter une logique de détection dans le code pour vérifier la disponibilité du proxy avant chaque requête.

Q : Et si j'ai besoin d'une adresse IP fixe ?
R : Les forfaits résidentiels statiques d'ipipgo permettent de détenir des adresses IP à long terme et conviennent à l'ensemble des tâches qui nécessitent un statut de connexion. Le prix de 35 yuans par mois dans l'industrie est un prix consciencieux, le même type d'autres au moins 50 pour commencer.

Cinquièmement, paquet ipipgo : comment choisir de ne pas marcher sur la fosse ?

D'après notre expérience auprès de plus de 200 clients, il s'agit du meilleur rapport qualité-prix :
– le goût du nouvel arrivantDynamic Residential Standard Edition, $7.67/GB est suffisant pour exécuter 100 000 requêtes ordinaires.
– Capture d'entrepriseDynamic Residential Enterprise Edition, $9.47/GB inclut des pools IP exclusifs.
– Surveillance à long termePackage résidentiel statique, 35 $/IP pour soutenir les systèmes d'entreprise liés

leurProgramme personnalisé 1v1En effet, fiable, la dernière fois qu'il y a une comparaison des tarifs aériens des clients, besoin de pays spécifiques de l'IP résidentielle, l'équipe technique en deux jours pour fixer le canal exclusif. L'essentiel est que les frais sont flexibles, contrairement à certaines plates-formes où vous devez acheter des paquets de paiement annuels.

Dernière chose : la configuration du proxy n'est pas permanente, il faut suivre les mises à jour de la stratégie anti-escalade du site cible. Si vous n'y arrivez pas, n'oubliez pas que l'assistance technique d'ipipgo est disponible 24 heures sur 24, alors ne continuez pas tout seul.