Services d'agence au niveau de l'entreprise : solutions pour les projets de collecte de données à grande échelle

Tout d'abord, pourquoi la collecte de données est-elle toujours bloquée ? Voyons si votre adresse IP est ciblée.

Les confrères qui se sont engagés dans l'exploration de données savent que la chose la plus redoutable est que le programme en cours d'exécution se bloque soudainement. Le mois dernier, un ami spécialiste du commerce électronique et moi nous sommes plaints, ils ont grimpé le prix des concurrents, ils ont juste saisi 2000 données sur le site ciblé et l'ont pincé. Je l'ai laissé sortir les journaux pour voir - bon gars, la même adresse IP a envoyé plus de 800 requêtes consécutives, le site n'est pas un imbécile, ne pas bloquer vous bloquer qui ?

C'est à ce moment-là qu'il est temps de déménagerpool d'IP proxyIl s'agit d'un outil formidable. Pour faire simple, il s'agit de préparer un tas d'adresses IP différentes, comme un décalage, comme une rotation. Par exemple, avec le proxy résidentiel dynamique d'ipipgo, chaque requête bascule automatiquement entre les différentes régions de l'IP réelle de l'utilisateur, le site ne peut tout simplement pas faire la distinction entre une machine ou une personne réelle.

importation de requêtes
from itertools import cycle

 Liste des proxies du backend ipipgo
proxies = [
    "http://user:pass@gateway.ipipgo.com:8001",
    "http://user:pass@gateway.ipipgo.com:8002".
     ... Préparer au moins 20 autres
]
proxy_pool = cycle(proxies)

for page in range(1,100) : current_proxy = next(proxy_pool)
    current_proxy = next(proxy_pool)
    current_proxy = next(proxy_pool)
        response = requests.get(url, proxies={"http" : current_proxy})
         Traitement des données...
    except : print(f "IP {current_proxy}")
        print(f "L'IP {proxy_courant} a échoué, passage automatique au suivant")

Deuxièmement, les trois principaux éléments vitaux du fournisseur de services d'agent sélectionné

Il existe de nombreux fournisseurs de services proxy sur le marché, mais peu d'entre eux sont en mesure de mener à bien des projets d'entreprise. L'année dernière, nous avons effectué un suivi de l'opinion publique pour une banque et testé 7 fournisseurs de services, et finalement seul ipipgo a été capable de supporter 5 millions de requêtes par jour. Voici quelques points clés pour la sélection :

En particulier.Pureté IPLes agents résidentiels d'ipipgo sont de véritables maisons à large bande, nous avons fait le test : le même site cible avec une moyenne de 300 requêtes avec l'agent ordinaire pour tenir le coup, avec sa famille peut courir jusqu'à 2 000 fois avant de déclencher la validation.

Troisièmement, la bataille proprement dite de l'opération sordide

Il ne suffit pas d'avoir un agent, il faut pouvoir jouer sur une combinaison de coups. L'année dernière, pendant le double onze, pour aider une marque à comparer les prix de l'ensemble du réseau, nous nous sommes appuyés sur ces mouvements en sept jours pour obtenir 12 millions de données :

1. Camouflage de la circulationN'utilisez pas le User-Agent par défaut de Python, ayez 50 logos de navigateurs majeurs à faire tourner. ipipgo a une bibliothèque UA prête à l'emploi dans le backend que vous pouvez appeler directement.

2. Mode maître du rythmeN'envoyez pas les demandes comme s'il s'agissait de sang de poulet, fixez un intervalle aléatoire de 0,5 à 3 secondes. Nous avons écrit un contrôleur de vitesse intelligent qui ralentit automatiquement lorsqu'il rencontre un CAPTCHA.

3. relais géographiquePar exemple, si vous voulez attraper un site web américain, n'utilisez pas uniquement des adresses IP de New York, mais plutôt des adresses IP de Chicago et de Los Angeles. La fonction de localisation au niveau de la ville d'ipipgo vous permet de spécifier directement le code postal.

IV. les pièges que vous avez dû rencontrer (avec des solutions)

QA1：Que dois-je faire si j'utilise une adresse IP proxy et qu'elle devient lente ?
L'IP est marquée par le site web cible, il faut se dépêcher de changer un lot. Le proxy pool d'ipipgo met automatiquement à jour l'IP 20% toutes les 15 minutes, il est recommandé de définir le nombre maximum de fois à utiliser, ne pas dépasser 100 fois pour une même IP.

QA2：Comment gérer l'IP en ouvrant 100 threads en même temps ?
Utilisez un outil de mise en commun des connexions ! Par exemple, le middleware de Scrapy, avec l'API d'ipipgo pour obtenir les IP disponibles en temps réel. N'oubliez pas de lier chaque thread à une IP séparée, ne vous embrouillez pas !

QA3 : Comment résoudre le problème du CAPTCHA ?
Trois étapes : 1) Changer immédiatement d'IP 2) Réduire la fréquence des requêtes 3) Passer sur une plateforme de codage (mais vous devez payer un supplément). Nous fixons généralement le seuil de déclenchement des CAPTCHA de 5% et envoyons une alerte s'il le dépasse.

V. Pourquoi mourir pour l'ipipgo ?

Après avoir utilisé le service proxy pendant plus de trois ans, la sélection finale d'ipipgo n'est pas sans raison. Une fois, à 3 heures du matin, pour connecter l'API, leur technologie a renvoyé le message en quelques secondes, et j'ai appris plus tard qu'il s'agissait d'un système de travail posté 24 heures sur 24. Plus un point fort : ils ont unRoutage intelligentpermet de sélectionner automatiquement la ligne la plus rapide. Une fois le site web japonais atteint, le système passe automatiquement au nœud de Tokyo, dont la vitesse est supérieure à celle de l'accès direct.

Récemment publiéModèle d'assurance de l'entreprisePlus pervers encore, il est possible de réserver à l'avance un pool d'IP exclusif. Le mois dernier, un groupe automobile a effectué une analyse concurrentielle, 2 millions de requêtes stables par jour, 15 jours consécutifs sans aucune interdiction. Ce niveau de stabilité, le marché ne peut vraiment pas le trouver.

(conclu)