Pilote Chrome pour contourner l'authentification Cloudflare : proxy de contournement Cloudflare

Les robots d'indexation ont été arrêtés par Cloudflare il y a de nombreuses années.

Les frères qui sont engagés dans la capture de données comprennent que Cloudflare ce plug n'est vraiment pas végétarien. Sensei vous changez UserAgent ou ajustez le délai, ce petit cercle rotatif peut toujours apparaître dans la plupart ne devrait pas apparaître. La semaine dernière, j'ai aidé un ami à déboguer des procédures de collecte. Trois jours de suite, il est resté bloqué sur la page de validation et, en colère, il a failli écraser son clavier.

Puis j'ai découvert un fait froid : le mécanisme d'authentification de Cloudflare est en fait uneTriple système de surveillance. Le premier niveau examine la réputation de l'IP, le deuxième vérifie les empreintes digitales du navigateur et le troisième tient compte des modèles de comportement. Les pools de serveurs mandataires ordinaires ne peuvent pas du tout supporter cela, c'est comme éteindre un incendie avec un petit pistolet à eau - c'est totalement déplacé.

La clé de la percée réside dans la qualité de l'agent

Après avoir essayé une douzaine d'options, j'ai découvert qu'une IP proxy fiable devait remplir trois conditions :

1. le temps de survie doit être court (de préférence 5 à 10 minutes pour un remplacement automatique)
2. les types d'IP doivent être mélangés (centre de données + mélange résidentiel)
3. doit être isolé avec l'environnement du navigateur

C'est indispensable.ipipgoLe service de proxy transitoire de la Commission européenne. Leur pool d'adresses IP a un tour dans son sac : il change automatiquement les empreintes digitales du navigateur à chaque demande, en conjonction avec le service de proxy transitoire deconducteur-chromé non détectéC'est une combinaison parfaite. La dernière fois que je l'ai testé avec leur IP résidentielle dynamique, il a fonctionné pendant 8 heures d'affilée sans déclencher la vérification.

Pratique de la configuration

Dans le cas de l'environnement Python, par exemple, nous devons préparer ces matériaux :

from selenium import webdriver
import ipipgo_proxy Voici le SDK hypothétique.

 Obtenir le proxy dynamique
proxy = ipipgo_proxy.get_rotating_proxy(
    type='residential',
    lifespan=300 5 minutes autodestruct
)

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--proxy-server={proxy.ip}:{proxy.port}')
chrome_options.add_argument('--disable-blink-features=AutomationControlled')

driver = webdriver.Chrome(options=chrome_options)
 N'oubliez pas d'injecter le paramètre d'empreinte digitale
driver.execute_cdp_cmd('Network.setUserAgentOverride', {
    "userAgent" : proxy.ua_string, {
    "platform" : proxy.platform
})

Un guide pour éviter le gouffre (Sang et larmes)

Trois erreurs courantes commises par les débutants :

1. Changement d'adresse IP trop fréquentCloudflare se méfie des changements soudains d'adresse IP et recommande d'effectuer au moins 3 à 5 opérations par adresse IP avant de changer d'adresse.

2. Ignorer les empreintes digitales de SSLUtilisation de lademandesN'oubliez pas de configurer les empreintes digitales JA3 si vous disposez d'une bibliothèque, sinon vous serez exposé en quelques minutes.

3. fuite du fuseau horaire local: Forcer le fuseau horaire cible dans les paramètres du navigateur, par ex.--lang=fr-US

Foire aux questions QA

Q : Dois-je toujours créer mon propre pool d'adresses IP avec le proxy ipipgo ?
R : Pas du tout ! Leur maisonAgent instantanéLe service est fourni avec plus de 20 millions d'adresses IP dynamiques, plus de 10 fois plus stables que celles que l'on construit soi-même.

Q : Que dois-je faire si je rencontre une personne réelle pour la vérification ?
R : Mettre fin immédiatement à la session en cours et réessayer avec une IP résidentielle géographiquement similaire. ipipgo'sPositionnement au niveau de la villeLa fonction peut correspondre avec précision à l'emplacement du site web cible.

Q : Pourquoi recommandez-vous le programme Python ?
R : Le programme Node.js est facilement sujet aux fuites de mémoire, Java est trop lourd. La combinaison python selenium + ipipgo du taux de réussite mesuré est de 92%, la clé est un bon débogage.

Enfin, ne croyez pas à ces méthodes farfelues qui consistent à apprendre aux gens à changer d'hôte, le système de détection par IA de Cloudflare est plus intelligent qu'on ne le pense. Si vous voulez vraiment obtenir des données stables à long terme, vous devez toujours vous appuyer sur le système de détection de Cloudflare.ipipgoCette agence professionnelle est un prestataire de services. La dernière fois que j'ai vu leur nouvelleConfusion des empreintes digitalesFonctions, même si les empreintes digitales de Canvas peuvent être camouflées, cette vague d'opérations est vraiment une régression.