7 solutions techniques pour casser les CAPTCHA (avec du vrai code)

Tout d'abord, pourquoi le CAPTCHA vous fixe-t-il toujours ?

Les partenaires engagés dans le crawling ont dû rencontrer cette situation : ils viennent de saisir deux pages de données sur le pop-up CAPTCHA. En fait, il s'agit du site web par l'intermédiaire duquelDétection de la fréquence d'accès à l'IPEn jeu. Les utilisateurs normaux ne demandent pas 50 fois des données en 10 secondes, mais les robots d'indexation le font. La solution est simple : utiliser le proxy résidentiel dynamique d'ipipgo pour répartir les demandes d'une seule IP sur différentes IP de sortie, en faisant croire au site qu'il est exploité par plusieurs utilisateurs réels.

Deuxièmement, une méthode de reconnaissance OCR simple et approximative

Ne paniquez pas lorsque vous rencontrez un CAPTCHA numérique-alphanumérique, essayez d'abord d'installer une bibliothèque tesserocr. Utilisez le proxy pool d'ipipgo pour changer d'IP afin d'éviter de déclencher des interdictions dues à des tentatives fréquentes. Exemple de code (Python) :

importer des demandes
from PIL import Image
import tesserocr

with requests.get('CAPTCHA address', proxies=ipipgo.get_proxy()) as res: : image = Image.open(BytesIO(res.content))
    image = Image.open(BytesIO(res.content))
    print(tesserocr.image_to_text(image))

Notez que pour ajuster la valeur de gris de l'image et le seuil de binarisation, les paramètres spécifiques doivent être essayés eux-mêmes. L'IP proxy d'ipipgo est automatiquement remplacée à chaque fois, la peur de l'essai et de l'erreur est bloquée.

III. simulation comportementale homme-ordinateur

Advanced CAPTCHA détecte les traces de souris et les intervalles de clics. Ceci est fait avec Selenium pour simuler une personne réelle :

from selenium.webdriver import ActionChains

driver = webdriver.Chrome()
driver.get(url)
ActionChains(driver).move_by_offset(10,20).click().perform()

N'oubliez pas de l'associer à celui d'ipipgoAgent résidentielCette méthode permet de contourner quotidiennement le CAPTCHA coulissant de 90%.

IV. dynamitage distribué pour les opérations de sciage

Adoptez la distribution lorsqu'il s'agit de CAPTCHAs particulièrement difficiles. Utilisez Redis pour la file d'attente des tâches et faites fonctionner 20 serveurs simultanément :

while True : task = redis.rpop('task_queue')
    task = redis.rpop('task_queue')
    result = process(task)
    redis.lpush('result_queue', result)

Chaque machine utilise une sortie IP distincte d'ipipgo, ce qui double directement le taux de réussite. Nous avons testé de manière réaliste le craquage d'un CAPTCHA à 4 chiffres avec cette méthode, 18 fois plus rapidement qu'avec une machine autonome.

V. Technologie noire pour le camouflage des protocoles

Certains sites détectent les caractéristiques des en-têtes HTTP. Utilisez les paramètres avancés des requêtes :

headers = {
    'Accept-Language' : 'zh-CN,zh;q=0.9',
    'X-Forwarded-For' : ipipgo.get_random_ip()
}

Le but est de générer un User-Agent de manière aléatoire. La bibliothèque IP d'ipipgo est livrée avec un déguisement X-Forwarded-For, qui peut tromper la détection de protocole de 80%.

Six, techniques de mixage des plates-formes de codage

Il n'est pas vraiment possible d'obtenir le code de vérification pour trouver une plateforme de codage manuel. Mais attention à deux points : 1) utiliser différentes IP pour soumettre le code de vérification 2) contrôler la fréquence des appels. Il est recommandé d'utiliser ipipgoIP statique de longue duréeÉtablir un canal fixe afin que la plateforme de codage ne se trompe pas sur les anomalies dues aux changements fréquents d'IP.

VII. la méthode ultime de dissimulation de l'IP

La clé de l'utilisation d'une combinaison des six méthodes ci-dessus est une bonne gestion de la propriété intellectuelle. Montrez un tableau de configuration du monde réel :

N'oubliez pas d'intégrer le module de commutation automatique d'ipipgo dans le code, et la vitesse de retour de leur API est mesurée comme étant 40% plus rapide que celle de leurs homologues, et la chaîne ne s'interrompt pas pendant les heures de pointe.

Foire aux questions QA

Q : Serai-je démasqué si j'utilise une adresse IP proxy ?
R : Choisissez le proxy high stash d'ipipgo, l'en-tête de la requête supprimera l'information X-Proxy, le serveur ne peut voir que l'IP d'exportation.

Q : Que dois-je faire si le taux de réussite des CAPTCHA est faible ?
R : En même temps, avec plus de 3 méthodes, telles que l'échec de la reconnaissance OCR, puis l'utilisation de la plate-forme de codage, différentes méthodes avec différents canaux IP.

Q : Comment puis-je empêcher le blocage de mon IP ?
R : Le routage intelligent d'ipipgo filtrera automatiquement l'IP marquée par le site, l'utilisation réelle du taux de blocage a chuté de 70%.

Q : Dois-je maintenir mon propre pool d'adresses IP ?
R : Ce n'est pas nécessaire, le pool d'adresses IP d'ipipgo est mis à jour quotidiennement avec 20%IP, ce qui est beaucoup plus facile que le pool d'adresses IP créé par l'utilisateur lui-même.