Solution IP Crawler hautement concurrentielle : architecture de pool IP pour des millions de requêtes

Expérience pratique : comment faire en sorte qu'un million de robots d'indexation soient bloqués ?

L'année dernière, j'ai aidé une plateforme de commerce électronique à surveiller ses concurrents, avec un pic de plus de 200 requêtes par seconde, et une demi-heure à peine, l'adresse IP a été bloquée sur toutes les lignes. Cela m'a permis de comprendre :Les crawlers qui ne disposent pas de pools de proxy fiables sont comme des athlètes nus.. Plus tard, nous avons construit un pool d'IP distribué avec le Dynamic Residential Proxy d'ipipgo, qui a traité régulièrement 8,7 millions de requêtes pendant 3 jours consécutifs, et c'est ici que nous sortons la solution de base pour vous.

Triple Axe de l'architecture de la piscine IP

Les demandes d'un million de dollars ne se font pas toutes seules, il faut jouer une combinaison :

Pratique du code : Proxy de commutation intelligente

Cet exemple Python met en œuvre une politique de commutation intelligente qui change automatiquement de type de proxy lorsqu'une requête échoue :

demandes d'importation
à partir d'un choix d'importation aléatoire

 Configuration du proxy ipipgo (n'oubliez pas de le remplacer par vos propres identifiants)
proxy_pool = {
    'dynamic' : 'http://user:pass@gateway.ipipgo.com:端口', 'static' : 'http://user:pass@gateway.ipipgo.com:端口'
    'static' : 'socks5://user:pass@static.ipipgo.com:端口'
}

def smart_request(url).
    for _ in range(3) : retry 3 times
        proxy_type = 'dynamic' if 'login' in url else 'static'
        
                   'https' : proxy_pool[proxy_type]}

        try.
            resp = requests.get(url, proxies=proxies, timeout=15)
            si resp.status_code == 200.
                return resp.text
        except Exception as e.
            print(f'Request failed to switch proxies automatically : {str(e)}')
            continue
    return None

Une application qui tue pour ipipgo.

Pourquoi le choisir ? Nous avons testé et comparé trois prestataires de services :

Agents résidentiels dynamiquesSimplement conçu pour une forte concurrence, le pool de 90 millions d'adresses IP est tout simplement trop important pour être utilisé. En particulier, leurMécanisme de préchauffage IPLa nouvelle IP peut tranquillement visiter quelques sites web réguliers dans un premier temps, puis les utiliser pour des tâches essentielles une fois qu'ils ont été "mûris", et le taux de blocage sera réduit à 60%.

Agents résidentiels statiquesIdéal pour les scénarios dans lesquels vous devez maintenir une session pendant une longue période, comme la surveillance des fluctuations de prix. Leurs ressources ISP sont vraiment pures, nous avons une tâche de collecte qui a fonctionné pendant 11 jours d'affilée sans déclencher de validation.

Conseils contre l'interdiction

1. dispersion des fluxipipgo prend en charge le positionnement au niveau de la ville, ajoutez &city=ville aléatoire aux paramètres de configuration et le tour est joué !

2. Camouflage des empreintes digitalesLes agents-utilisateurs ne sont pas des agents-utilisateurs, mais des agents-utilisateurs : Ne rendez pas l'en-tête de requête trop propre, et n'oubliez pas d'encrypter le trafic avec leur proxy socks5 si vous changez d'agent-utilisateur de façon aléatoire !

3. demande échelonnéeLes résultats de l'étude ont été publiés dans la revue de presse de la Commission européenne et dans la revue de presse du ministère de l'économie et des finances. Je dirais que le taux de réussite le plus élevé se situe entre 3 et 6 heures du matin.

Foire aux questions QA

Q : Quelle doit être la taille de la réserve d'adresses IP pour être suffisante ?
R : le volume quotidien de demandes de millions de mots, le proxy dynamique doit préparer 5000 + pool d'IP, le proxy statique 200 + suffisant. ipipgo dynamic package est livré avec l'expansion automatique d'IP, la quantité de burst n'a pas besoin d'ajouter manuellement.

Q : Comment choisir entre un proxy SOCKS5 et un proxy HTTP ?
R : La collecte de données avec SOCKS5 est plus sûre, la collecte ordinaire HTTP sur la ligne. ipipgo prend en charge les deux protocoles, la commutation se fait en arrière-plan sur la ligne !

Q : Comment puis-je savoir si un agent est exposé ?
A：Bury une page cachée dans la requête et visitez cette adresse régulièrement. S'il renvoie un contenu spécifique, c'est que le proxy est normal ; s'il renvoie une page de vérification, changez rapidement d'adresse IP !

Nous avons acheté un proxy bon marché, les résultats de 40%IP sont sur liste noire, les données n'ont pas été récupérées au lieu d'être bloquées par les serveurs d'entreprise. Maintenant, l'équipe est morte ipipgo sur une figure de l'esprit, leur pureté IP peut vraiment jouer, le temps clé vraiment ne pas tomber de la chaîne.