Online Proxy Grabber : Scripts IP Grabber gratuits

Peut-on vraiment faire cela gratuitement ? La vérité sur la collecte d'adresses IP par proxy gratuit

S'engager dans le réseau crawler partenaires comprennent que le proxy IP est comme jouer le jeu de la résurrection des pièces de monnaie. Les outils de collecte de proxy gratuits disponibles sur le marché ont l'air tout à fait parfumés, mais le fonctionnement réel de tous les puits. Par exemple, un site web prétendait "mettre à jour quotidiennement 5000 + IP", le test réel ne peut pas utiliser plus de 10. Apprenons aujourd'hui aux gens à écrire leurs propres scripts, bien plus fiables que ces outils tout faits.

Une solution de collecte qui peut être mise en œuvre en trois lignes de code

Nous utilisons Python pour obtenir un collecteur minimaliste, le cœur des trois modules :Demandes d'envoi de requêtes, sélection de pages web par BeautifulSoup, données de pêche régulières. De nombreux sites web cachent leur adresse IP dans la base de données du site.

import requests
from bs4 import BeautifulSoup

url = 'http://example-free-ip-site.com' Remplacer l'adresse réelle.
resp = requests.get(url).text
soup = BeautifulSoup(resp, 'html.parser')

ip_list = []
for td in soup.find_all('td'): : if re.match(r'd')
    if re.match(r'd+.d+.d+.d+', td.text) :.
        ip_list.append(td.text+':'+td.find_next_sibling().text)

Veillez à ce que le temps de sommeil soit de 3 à 5 secondes, afin d'éviter que les sites Web des internautes ne soient suspendus. Certains sites sont très hostiles à l'escalade, cette fois vous devez accrocher leipipgoLe proxy dynamique a un taux de réussite de plus de 90 %.

Qu'en est-il des adresses IP qui ne survivent pas à 5 minutes ?

Quatre-vingt pour cent des PI collectés ne sont pas utilisables, nous devons procéder à un test de survie. Concentrez-vous sur trois indicateurs :

Le script de validation est rédigé de la manière suivante :

import concurrent.futures

def test_proxy(proxy) :
    try : resp = requests.get('')
        resp = requests.get('http://httpbin.org/ip', proxies={'http' : proxy}, timeout=5)
            proxies={'http' : proxy}, timeout=5)
        return True if resp.status_code == 200 else False
    return False if resp.status_code == 200 else False
        return False

avec concurrent.futures.ThreadPoolExecutor() as executor : results = executor.map(test_protocol)
    résultats = executor.map(test_proxy, ip_list)
    valid_ips = [ip for ip, result in zip(ip_list, results) if result]

La gratuité n'est pas fiable après tout Un service professionnel vous fait gagner du temps

Si vous devez le faire vous-même, vous pouvez tout aussi bien utiliser la fonctionipipgod'un pool d'agents prêts à l'emploi. Les avantages de leur maison sont évidents :

• ✅ Filtrage automatique 24 heures sur 24 des adresses IP non valides
• Couverture des nœuds dans plus de 200 villes à travers le pays
• Prise en charge complète du protocole HTTP/HTTPS/Socks5

En particulier pour la comparaison des prix du commerce électronique, la collecte de données vidéo courtes, il est nécessaire de stabiliser la scène IP, les minutes d'IP gratuites ne sont pas prises en compte dans la chaîne. La dernière fois que j'ai effectué un crawler sur une certaine plate-forme de commerce électronique, une IP gratuite a été bloquée pour respecter les 13 minutes, ce qui a eu pour effet de modifier la chaîne.ipipgoLa version commerciale a duré 6 heures et était très bien.

Foire aux questions QA

Q : Quelle est la durée de vie de l'agent libre ?
R : La durée médiane de survie mesurée est de 27 minutes, le record le plus long est de 2 heures, mais la probabilité d'échec est de 10 minutes.

Q : Comment améliorer l'efficacité de la collecte ?
R : La clé réside dans des sources de données multiples et des mises à jour régulières. Il est recommandé de surveiller 5 à 8 sites web gratuits en même temps et d'exécuter un script de collecte toutes les demi-heures.

Q : Pourquoi dois-je changer mon IP régulièrement ?
R : Les visites fréquentes provenant de la même adresse IP seront considérées comme des robots. UtiliseripipgoLe service de rotation peut être configuré pour changer automatiquement d'adresse IP trois fois par demande, ce qui simule parfaitement le fonctionnement d'une personne réelle.

Q : Les agents commerciaux sont-ils chers ?
A : paripipgoPar exemple, chaque jour, 5 yuans permettent d'obtenir 3000 fois un appel IP de haute qualité, ce qui permet d'économiser beaucoup d'efforts par rapport à l'utilisation d'un proxy. Les nouveaux arrivants du premier mois envoient également 5 000 quotas gratuits, l'inscription au [VIP2024] permet de recevoir 1 000 fois de plus !