Randomisation des caractéristiques des requêtes : une bibliothèque de stratégies de rotation de l'agent utilisateur

I. Pourquoi votre chenillette est-elle toujours reconnue ? Premier regard sur la fosse

Les personnes engagées dans la collecte de données de l'ancien fer à repasser ont dû être confrontées à cette situation : l'adresse IP a manifestement changé, mais le site cible peut toujours identifier avec précision le comportement du robot d'exploration. À ce moment-là, beaucoup de gens se demanderont -Comment pouvez-vous vous faire prendre après avoir changé d'adresse IP ? Le problème est en fait que votre profil de demande est trop régulier !

Par exemple, si vous allez au supermarché pour acheter quelque chose, bien que vous changiez de vêtements chaque jour (proxy IP), mais que vous portiez toujours le même cartable, que vous suiviez le même itinéraire, les agents de sécurité ne vous dévisagent pas, mais dévisagent qui ? Le système de protection des sites web passe parUser-Agent, fréquence des requêtes, caractéristiques des cookiesCes détails permettent d'identifier le trafic anormal.

Deuxièmement, le jeu de base de la rotation User-Agent

Voici une astuce pour vous apprendre :Bibliothèque dynamique d'UA + commutation intelligente. Il ne s'agit pas simplement d'obtenir des dizaines d'UA sélectionnées au hasard, mais de faire correspondre la configuration aux caractéristiques du site cible :

Par exemple, lorsque vous utilisez le service proxy d'ipipgo, il est recommandé d'ajouter ce qui suit à l'en-tête de la requêteGénération aléatoire de modèles d'équipementLa fonction. Leur API prend en charge la génération automatique d'UA correspondant à la localisation de l'IP actuelle, ce qui permet d'éviter la situation embarrassante où une IP américaine accroche l'UA d'un téléphone Xiaomi.

Troisièmement, la combinaison idéale de l'IP proxy et de l'UA

Il ne suffit pas de changer d'adresse IP, il faut apprendredouble randomisation: :

1. Obtenir une nouvelle IP via ipipgo avant chaque requête
2. Correspondance automatique avec l'UA correspondante en fonction de la région où se trouve l'IP
3. Numéros de version choisis au hasard dans la bibliothèque commune de l'UA

En ce qui concerne l'étape 2, par exemple, si vous obtenez une adresse IP résidentielle dans le Guangdong, vous devez utiliser l'adresse suivanteModèles de téléphones portables les plus courants dans le GuangdongLa fonction Smart Routing d'ipipgo associe automatiquement les informations géographiques, ce qui vous permet d'économiser beaucoup de travail par rapport à la maintenance manuelle.

IV. un guide pratique pour éviter les pièges (avec des extraits de code)

Voici un exemple en Python, remarquez la section des commentaires :

 Obtenir un proxy dynamique à partir d'ipipgo
def get_proxy() :
    return requests.get('https://api.ipipgo.com/getProxy').json()

 Générateur d'UA intelligent
def generate_ua(ip_info) :
    if ip_info['isp'] == 'mobile' : return f "Mozilla/5.0 (Linux; ;)
        return f "Mozilla/5.0 (Linux ; Android {random.choice(['10', '11'])}...)"

 Exemple de requête
proxy = get_proxy()
headers = {
    'User-Agent' : generate_ua(proxy),
     N'oubliez pas d'ajouter d'autres paramètres de randomisation
}

V. Foire aux questions AQ

Q : De combien de bibliothèques de l'Union européenne ai-je besoin pour en avoir suffisamment ?
R : Il ne s'agit pas de savoir si plus il y en a, mieux c'est.Distribution des versions. Il est recommandé de conserver environ 200 UA grand public, réparties proportionnellement à la part de marché des navigateurs.

Q : Comment choisir un forfait pour ipipgo ?
R : Pour les petits projetsÉdition de l'esprit(5GB/jour) est suffisante, l'acquisition à grande échelle directement sur le paquet personnalisé de l'entreprise, leur temps de survie IP est 3 fois plus long que les autres.

Q : Serai-je reconnu comme ayant utilisé une procuration ?
R : Il est possible de l'éviter en utilisant des proxies très anonymes et une stratégie UA correcte. ipipgo'sPiscine résidentielle IPIl s'agit d'adresses IP d'appareils réels qu'il est difficile d'identifier avec les méthodes décrites dans cet article.

Enfin, certains sites détecterontDifférences de rendu des policesde telles caractéristiques d'ordre supérieur. C'est le moment de s'inscrire sur le site de l'ipipgo.Simulation de l'environnement du navigateurLe service, mais c'est un tout autre sujet.