Kostenloses Skript zur Proxy-IP-Überprüfung: Python Automatisierte Erkennung Code-Sharing

Praktische Anleitung zum Durchsuchen kostenloser Proxy-IPs, die funktionieren

Crawler wissen, dass neun von zehn freien Proxy-IPs sind Gruben. Heute, lassen Sie uns etwas Echtes tun, mit Python, um eine automatisierte Erkennung Skript zu schreiben, drei Minuten, um auszusieben die IP verwendet werden kann. keine Panik, der Code ist zwanzig Zeilen, der weiße Mann kann auch direkt verwendet werden.

import requests
from concurrent.futures importieren ThreadPoolExecutor

def check_proxy(proxy):
    try: resp = requests.get('')
        resp = requests.get('http://httpbin.org/ip', 'http': proxy, 'https': proxy, 'https': proxy})
                          proxies={'http': proxy, 'https': proxy}, timeout=5))
                          timeout=5)
        return proxy if resp.json()['origin'] in proxy else None
    return Keine
        return Keine

with open('proxy_list.txt') as f.
    proxies = [line.strip() for line in f]

with ThreadPoolExecutor(max_workers=50) as executor: results = executor.map(check_proxies)
    results = executor.map(check_proxy, proxies)

with open('valid_proxies.txt', 'w') as f: f.write(''.join)
    f.write(''.join(filter(None, results)))

Skripting Core Set Aufschlüsselung

Dieses Ding sieht einfach aus, aber es verbirgt tatsächlich dreiTipps zur Vermeidung von Fallstricken::

1. httpbin.org für die Authentifizierung verwenden, was zuverlässiger ist als der direkte Zugriff auf Baidu (einige Proxys fälschen Baidu-Antworten)

2. 50 gleichzeitige Multi-Threads, der tatsächliche Test dieser Zahl wird nicht auslösen Anti-Climbing und Geschwindigkeit zu gewährleisten

3. die Rücksende-IP und die Proxy-IP strikt vergleichen, um zu verhindern, dass dieselit. den Kopf eines Schafes aufhängen und Hundefleisch verkaufenfalscher Agent

Praktischer Leitfaden zur Vermeidung der Grube

Ich habe kürzlich herausgefunden, dass einige freie Agenten spielen werdenZeitverzögerungstrickEs funktioniert bei der Validierung, aber wenn es wirklich zur Anwendung kommt, fällt es ab. Die Lösung besteht darin, dem Skript eine zweite Validierung hinzuzufügen:

def double_check(proxy): for _ in range(3): drei aufeinanderfolgende Male
    for _ in range(3): drei aufeinanderfolgende Tests
        if not check_proxy(proxy): if not check_proxy(proxy): if not check_proxy(proxy).
            return False
    return True

Inhärente Schwächen der freien Agentur

Auch wenn die Skripte großartig sind, gibt es keine Lösung für diese schwerwiegenden Probleme mit kostenlosen Proxys:

Seriöse Lösungen

Für ein ernsthaftes Projekt müssen Sie dieipipgoDie Dienstleistungen des Maklers. Seine Familie dynamische Wohn-Agentur hat eine Meisterklasse - dieAnpassung der IP-ÜberlebenszeitBei der Datenerfassung können 30% Traffic-Kosten eingespart werden. Wenn Sie z. B. E-Commerce-Bewertungen crawlen, setzen Sie das IP-Zeitlimit auf 30 Minuten, was gerade ausreicht, um eine Produktseite zu crawlen.

Vergleichsdaten aus der realen Welt:

| Proxy-Typ | Durchschnittliche Antwortgeschwindigkeit | Verfügbarkeit | Durchschnittliche tägliche Drops |
|------------|--------------|--------|--------------|
| Free Proxy | 2.8s | 12% | 47 mal |
| ipipgo dynamisch | 0.3s | 99.6% | 0.2 mal |

Häufig gestellte Fragen

Q：Wenn ich den authentifizierten Agenten verwende, meldet er trotzdem einen Fehler?
A: 80 % angetroffenDie PünktlichkeitsfalleDie durchschnittliche Überlebensdauer eines freien Mittels beträgt nur 7 Minuten, daher wird empfohlen, es sofort nach der Überprüfung einzusetzen.

F: Wie lange ist die angemessene Zeitspanne?
A: Flexible Anpassung an Geschäftsszenarien, für die Datenerfassung in Echtzeit werden 3 Sekunden empfohlen, für die Sicherung historischer Daten können 10 Sekunden angesetzt werden.

F: Wie kann ich wieder schneller werden?
A: Setzen Sie max_workers auf 100 und ändern Sie die Authentifizierungsadresse auf Ihren eigenen Server (um Zugriffsbeschränkungen von httpbin.org zu vermeiden)

Empfohlene Upgrade-Positionen

Wenn das Projekt Folgendes erfordertstark konkurrierendvielleichtLangfristig stabiler BetriebWenn Sie einen statischen Wohnungsvertreter suchen, sollten Sie sich direkt an ipipgo wenden. Vor allem bei der Überwachung von E-Commerce-Preisen im Ausland kann sein statischer Bevollmächtigter Folgendes tunGleiche Stadtausfahrt IP unterhält eine 12-Stunden-Konstantleitungund simuliert damit perfekt das reale Nutzerverhalten.

Vor kurzem gibt es eine geschmacklose Operation: mit seinem TikTok Lösung + Proxy-IP, um Live-Daten-Überwachung zu tun, direkt sparen zwei Drittel der Server-Overhead. Der Schlüssel ist, um die geografischen Beschränkungen der Plattform zu umgehen, engagieren sich in der Wettbewerbsanalyse ist nicht zu cool (natürlich, um im Rahmen der Compliance ha) zu betreiben.