Proxy Gathering Tools : Scripts de vérification d'IP gratuits

Que peut faire cette chose pour vous ?

S'engager dans la capture de données est le plus grand mal de tête est IP bloqué, cette fois vous avez besoin de trouver un proxy IP peut être utilisé pour le paquet top. C'est trop d'efforts pour trouver des IP libres manuellement, donc aujourd'hui je vais vous apprendre à utiliser Python pour écrire unValidation automatique des scripts des robots d'indexationqui se spécialise dans le nettoyage des adresses IP de proxy peu fiables.

Par exemple, vous voulez attraper le prix du site de commerce électronique, l'utilisation continue de la même IP balayer sauvagement une demi-heure, je suis sûr d'être blacklisté par le site. Si vous avez sous la main des dizaines d'IP proxy vérifiées à utiliser à tour de rôle, cette chose sera un succès.

La porte d'entrée pour trouver une IP proxy

Il existe un grand nombre de sites proxy gratuits, mais neuf sur dix sont mauvais. Voici un tableau comparatif pour vous permettre d'y jeter un coup d'œil :

Recommandé pour les projets sérieux.ipipgoCe type de fournisseur de services professionnels. Leur pool d'adresses IP est important, mais il est également doté d'une fonction de remplacement automatique, ce qui fait que les adresses IP gratuites n'économisent pas une étoile, mais un demi-point.

Script de validation pratique

Le code suivant teste automatiquement le fonctionnement de l'adresse IP du proxy :

import requests
from concurrent.futures import ThreadPoolExecutor

def check_proxy(proxy): :
    try : resp = requests.get('')
        resp = requests.get('http://httpbin.org/ip', 'http' : proxy, 'https' : proxy, 'https' : proxy})
                          proxies={'http' : proxy, 'https' : proxy}, timeout=5))
                          timeout=5)
        if resp.status_code == 200.
            print(f'{proxy} Authentification réussie !)
            return proxy
    except.
        pass
    return None

 Remplissez la liste des IP que vous voulez tester
ip_list = ['123.45.67.89:8888', '111.222.333.444:3128']
avec ThreadPoolExecutor(max_workers=10) comme exécuteur.
    valid_ips = list(filter(None, executor.map(check_proxy, ip_list)))

print('Les IP qui fonctionnent sont:', valid_ips)

这个脚本用了多线程代理ip验证，实测100个IP大概20秒就能筛完。注意要把测试网址换成你自己要访问的目标站，这样测出来的结果更准。

Questions et réponses sur les pièges les plus fréquents

Q : Que dois-je faire si je ne peux pas me connecter à l'agent libre ?
R : Phénomène normal ! Le taux de survie de l'IP libre n'étant pas élevé, il est recommandé d'utiliser l'ipipgo.forfait de paiement à l'utilisationVous pouvez en utiliser autant que vous le souhaitez sans le gaspiller.

Q：Comment se fait-il que l'IP vérifiée ne fonctionne pas à nouveau ?
R : Les IP proxy sont intrinsèquement sensibles au facteur temps.mécanisme de réessai automatiqueSi vous constatez que la PI ne fonctionne pas, passez immédiatement à la suivante.

Q : Que se passe-t-il si l'entretien de la piscine d'agents me pose trop de problèmes ?
R : Directement sur le service API d'ipipgo, leurs IP sont pré-vérifiées, prenez-les et vous pourrez les utiliser directement, ce qui vous fera gagner du temps et de l'énergie.

Comment jouent les pros

Si vous souhaitez vraiment vous lancer dans la collecte de données à grande échelle, il est recommandé de jumeler ces astuces :

1. mettre en placeFréquence de commutation IPN'utilisez pas une seule adresse IP pour mourir.
2. collocationRotation de l'agent utilisateurNe laissez pas le site vous reconnaître comme un robot d'exploration
3. Points importants à retenir sur l'ipipgoPaquet IP exclusifLa stabilité est directement assurée.

Une dernière remarque : la propriété intellectuelle gratuite, c'est bien pour s'amuser, mais il faut vraiment des services professionnels pour faire le travail. Comme ipipgo avecvérification automatiquerépondre en chantantmise à jour en temps réelLe service proxy qui peut faire en sorte que vos crawlers marchent moins sur 80%. Vous bénéficiez également d'un crédit d'essai pour vous inscrire maintenant, alors essayez-le vous-même et voyez à quel point il sent bon.