Python Web Crawling Tutorial: Vom Anfänger zum Könner

Erstens: Warum wird Ihr Crawler immer von der Website gezogen?

Crawler Freunde verstehen, dass die größten Kopfschmerzen ist nur zwei Minuten laufen, ist IP zu Tode versiegelt. Die Website ist nicht ein Narr, sehen die gleichen IP verrückte Anfrage, direkt heruntergefahren den Hund. Zu diesem Zeitpunkt müssen Sie einen Ersatz zu finden, um Ihnen zu helfen, tragen die Mine -Proxy-IPEinfach eine ausgezeichnete Wahl.

Als Kastanie wollen Sie den Preis einer bestimmten E-Commerce-Plattform zu fangen. Verwenden Sie Ihren eigenen Breitbandanschluss, um 50 Mal anzufragen, und der Server wird Ihnen sofort ein Siegel geben. Wenn Sie die IP-Adresse bei jeder Anfrage ändern, kann die Website nicht erkennen, ob es sich um eine echte Person oder ein Programm handelt.verteilte Tarnung.

importiert Anfragen
von itertools importieren Zyklus

 API-Schnittstelle, die von ipipgo bereitgestellt wird (denken Sie daran, sie durch Ihr eigenes Konto zu ersetzen)
proxy_pool = [
    'http://username:password@gateway.ipipgo.com:8001',
    'http://username:password@gateway.ipipgo.com:8002'
]

proxy_cycle = cycle(proxy_pool)

for page in range(1, 101):
    try: proxy = next(proxy_cycle).
        proxy = next(proxy_cycle)
        response = requests.get(
            f'https://example.com/products?page={page}',
            proxies={'http': proxy}, timeout=10
            timeout=10
        )
        print(f'Seite {page} wurde erfolgreich erfasst')
    except.
        print('Diese IP hängt, wechseln Sie jetzt zur nächsten')

Zweitens, Proxy-IP am Ende, wie man zuverlässig wählen

Es gibt eine Vielzahl von Proxy-Anbietern auf dem Markt, aber es gibt auch eine Menge Schattenseiten. Einige kostenlose Proxys sehen schön aus, sind aber in Wirklichkeit langsamer als eine Schnecke, und einige von ihnen sind einfach gefälschte IP-Adressen.Tipps zur Vermeidung von Fallstricken::

Und jetzt kommt der Clou.Dynamische WohnungsvermittlerDiese Art von IP ist genau die gleiche wie die IP von normalen Nutzern, so dass die Website überhaupt keine Anomalien feststellen kann. ipipgo solche Dienstleister bieten auch automatische Wechselintervalle Einstellungen, und es wird empfohlen, die IP einmal alle 5-10 Anfragen zu ändern.

Drittens, Hand, um Sie zu lehren, den Agenten zu entsprechen

Nehmen wir die Python-Anforderungsbibliothek als Beispiel, die Prinzipien sind in der Tat ähnlich. Der Schlüssel ist die Handhabung derMechanismus zur Wiederholung von AusnahmenLassen Sie nicht das ganze Programm zusammenbrechen, nur weil eine IP ausfällt.

zufällig importieren
Zeit importieren

def smart_crawler(url): max_retry = 3
    max_wiederholung = 3
    for _ in range(max_retry):: _ in range(max_retry).
        try.
             Wähle zufällig einen Proxy
            proxy = random.choice(ipipgo_proxies)

            Antwort = requests.get(
                url, proxies = {'http': proxy}, response = requests.get(
                proxies={'http': proxy},
                headers=random_headers, nicht vergessen, die Header der Anfrage zu verschleiern
                timeout=8
            )

            wenn response.status_code == 200.
                return response.text

        except Exception as e: print(f "Fehler: {str(e)}")
            print(f "Fehler: {str(e)}")
            time.sleep(2) Scheitert und versucht es später noch einmal.

    return Keine

Sehen Sie sich das an.ZufallsschlafDer Tipp: Fordern Sie nicht immer die ganze Zeit an, es ist leicht, vom Anti-Kletter-System des Musters erfasst zu werden. Es wird empfohlen, zufällig zwischen 2-5 Sekunden zu stoppen, um den Betrieb einer echten Person zu simulieren.

Viertens, der eigentliche Kampf: Preisüberwachung im elektronischen Handel

Nehmen wir an, wir wollen die Preisänderungen von 10 Artikeln auf einer Plattform überwachen, die 3 Mal pro Tag erfasst werden. Direkt auf den trockenen Code:

Zeitplan importieren
from concurrent.futures importieren ThreadPoolExecutor

product_ids = ['123', '456', '789'] Beispiel für Produkt-IDs

def fetch_price(produkt_id):
    proxy = ipipgo.get_proxy() ruft die API von ipipgo auf, um eine neue IP zu erhalten
    try.
        resp = requests.get(
            f'https://shop.com/product/{product_id}',
            proxies={'http': proxy},
            headers={'User-Agent': 'Mozilla/5.0'}
        )
         Hier ist der Code zum Parsen des Preises
        save_to_database(produkt_id, preis)
    außer.
        ipipgo.report_failure(proxy) Kennzeichnung fehlgeschlagener IPs

def job().
    with ThreadPoolExecutor(max_workers=5) as executor.
        executor.map(fetch_price, product_ids)

 Täglich um 8:00, 14:00 und 20:00 Uhr ausführen
schedule.every().day.at("08:00").do(job)
schedule.every().day.at("14:00").do(job)
schedule.every().day.at("20:00").do(job)

while True: schedule.run_pending()
    schedule.run_pending()
    time.sleep(1)

Dieses Programm hat drei wesentliche Schwerpunkte:Multithreading-BeschleunigungundAutomatischer IP-WechselundAbnormale IP-Meldungen. Die API mit ipipgo stellt auch ungültige Proxys automatisch wieder her, um sicherzustellen, dass Erfassungsaufgaben nicht unterbrochen werden.

V. Häufig gestellte Fragen QA

F: Was sollte ich tun, wenn die Proxy-IP plötzlich nicht mehr funktioniert?
A: Wechseln Sie sofort zu einer neuen IP und kontaktieren Sie Ihren Dienstanbieter. Wie ipipgo hat 24 Stunden technische Unterstützung, die Reaktionszeit ist doppelt so schnell wie die Gegenstücke!

F: Welches Protokoll soll ich wählen, HTTP oder SOCKS5?
A: Für gewöhnliche Webseiten reicht HTTP aus, für die Übertragung verschlüsselter Daten wird SOCKS5 benötigt. ipipgo unterstützt beide Protokolle, und der Hintergrund kann jederzeit umgeschaltet werden.

F: Gibt es einen großen Unterschied zwischen kostenlosen Proxys und bezahlten Proxys?
A: Der Unterschied zwischen Himmel und Erde! Kostenlose Proxy durchschnittliche Überlebenszeit von weniger als 1 Stunde, bezahlt Proxy wie ipipgo IP kann für 3-7 Tage verwendet werden. Sparen Sie nicht Geld auf wichtige Projekte!

F: Warum empfehlen Sie ipipgo?
A: Drei Hardcore-Gründe: 1. Exklusive IP steht nicht in der Warteschlange 2. 30 Provinzen im Land IP optional 3. der Verkehr ist nicht gedeckelt. Wenn Sie es verwendet haben, werden Sie wissen, dass es viel besser ist als den Aufbau Ihrer eigenen Proxy-Pool.

VI. die ultimative Denkweise der Anti-Versiegelung

Und zum Schluss noch ein Tipp.Kombination::

1. Proxy-IP + zufällige Anfrage-Header-Doppelversicherung
2. Wichtige Aufgaben zum Öffnen von ipipgo'sIP-Rotationsmodell
3. Kontrollieren Sie die Häufigkeit der Besuche, bringen Sie den Webserver nicht zum Absturz
4. Regelmäßig Kekse reinigen, keine kleinen Schwänze hinterlassen

Denken Sie daran, den Crawler zu tunFörderung der militärischen EthikFangen Sie eine Website nicht in einer Sackgasse. Halten Sie sich an die Vereinbarung mit den Robotern, die Verzögerungseinstellungen können nicht geringer sein. Verwenden Sie die richtigen Werkzeuge plus die richtige Methode, Daten zu sammeln, um einen langen Strom sein.