Paramètres de l'agent utilisateur de ChromeDriver : Emulation d'un navigateur réel

Ne laissez pas les sites web vous considérer comme un robot au premier coup d'œil

Quiconque a déjà fait de l'exploration de données sait que les sites web sont très raffinés de nos jours. Si vous utilisez ChromeDriver sans déguisement, les gens regarderont votre en-tête de requête comme s'ils étaient nus. C'est comme si vous alliez à une fête masquée et que vous portiez un pyjama. Si les gardes de sécurité ne vous arrêtent pas, qui le fera ? Il y a deux points essentiels à noter ici :Les agents utilisateurs (UA) doivent ressembler à de vraies personnes(math.) genreL'adresse IP doit ressembler à celle d'un utilisateur normal.

Triple hache de camouflage de l'agent utilisateur

Commençons par la manière d'obtenir l'AU correcte. De nombreux tutoriels vous apprennent à aller en ligne et à trouver des listes d'UA prêtes à l'emploi, mais c'est quelque chose dont il faut parlerl'aléatoire dynamique. En tant que marronnier, vous pouvez utiliser cette méthode pour générer de manière aléatoire :

from fake_useragent import UserAgent
ua = UserAgent()
custom_ua = ua.random
options.add_argument(f'user-agent={custom_ua}')

Notez ici qu'il ne faut pas utiliser une ancienne version du navigateur, l'AU doit suivre la version de Chrome qui est dans le top 5 des parts de marché. Tout comme personne ne porte de baskets sur Internet de nos jours, utiliser l'AU d'IE6 revient à se couvrir soi-même.

L'IP proxy est la véritable armure.

Changer l'UA équivaut à porter un masque, mais l'IP reste exposée si vous ne la changez pas. Nous recommandons ici d'utiliserProxy résidentiel dynamique pour ipipgoLe groupe d'adresses IP de leur domicile est suffisamment important pour obtenir de nouvelles adresses IP pour chaque session :

Le code doit être écrit comme suit lors de la configuration (en Python par exemple) :

from selenium import webdriver

proxy = "123.123.123.123:8888" C'est le proxy fourni par ipipgo.
options = webdriver.ChromeOptions()
options.add_argument(f'--proxy-server=http://{proxy}')

Guide pratique pour éviter la fosse

J'ai vu trop de gens tomber dans ces pièges :

1. Erreur de certificat SSL ➡️ N'oubliez pas d'ajouteroptions.add_argument('--ignore-certificate-errors')
2. Fuite d'empreinte digitale du navigateur ➡️ Désactivez WebRTC :options.add_experimental_option("prefs", {"webrtc.ip_handling_policy" : "disable_non_proxied_udp"})
3. Défaillance soudaine de l'IP ➡️ Utilisez la fonction de commutation automatique d'ipipgo, ne construisez pas vos propres rouages.

séance de questions-réponses

Q : Dois-je changer à chaque fois l'UA et le proxy ?
R : C'est indispensable ! C'est comme porter une perruque quand on a changé de vêtements, on peut être reconnu sans !

Q : Comment les agents d'ipipgo choisissent-ils leurs forfaits ?
R : Les nouveaux abonnés paient au volume avec Dynamic Residential, tandis que les vétérans bénéficient d'un meilleur rapport qualité-prix avec un abonnement mensuel direct. La société a récemment offert 5G d'expérience de trafic aux nouveaux abonnés.

Q：Que dois-je faire si je rencontre l'invite du site web "Outil d'automatisation détecté" ?
R : trois étapes : 1. vérifier si l'AU est en vigueur 2. changer ipipgo un autre segment IP 3. réduire la fréquence d'opération

Enfin, dites une chose froide : certains sites vont enregistrer la trace du mouvement de la souris, cette fois vous pouvez ajouter un script de mouvement aléatoire. Mais ceci appartient au jeu avancé, la prochaine occasion de parler en détail. N'oubliez pas.Au cœur du camouflage se trouve l'idée de faire passer le comportement d'une machine pour un comportement manuel.Les proxies stables d'ipipgo peuvent vous épargner au moins la moitié de ces tracas.