Web Crawling mit PythonBeautifulSoup: Praktische Beispiele

Erstens: Warum sollte man eine Proxy-IP für das Crawling im Internet verwenden?

Das alte Eisen in Netzwerk-Crawler beschäftigt muss eine solche Situation begegnet sein - nur griff zwei Seiten von Daten, wird die Website Ihre IP blockiert werden. Zu dieser Zeit, nicht dumm sein mit ihren eigenen realen IP hart nur, mit einem Proxy-IP ist der König. Um eine Kastanie zu geben, wie das Spiel zu spielen, um eine kleine Zahl zu öffnen, wurde für eine Reihe blockiert, um weiter zu spielen, ist Proxy-IP der Grund.

Wir müssen ein Lob aussprechen für unsereipipgo-Proxy-DienstDas Unternehmen ist auf dynamische Proxys für Privatkunden spezialisiert und verfügt über einen Pool echter Privatkunden-IPs von mehr als 200 Standorten auf der ganzen Welt.Nicht leicht als Crawler zu erkennenImmerhin ist jede Anfrage auf eine andere Region des realen Nutzers IP geändert, kann die Website einfach nicht zwischen echten Menschen besuchen oder Maschinenbetrieb zu unterscheiden.

II. praxisnahe Umgebung

Laden Sie diese Jungs zuerst auf:

pip install requests beautifulsoup4

Vergessen Sie nicht, den API-Schlüssel für ipipgo vorzubereiten. Sie erhalten die exklusive Zugangsadresse und den Port nach der Registrierung. Es wird empfohlen, die Konfigurationsinformationen in Umgebungsvariablen zu speichern, damit der Code frisch aussieht:

os importieren
PROXY_USER = os.getenv('IPIPGO_USER')
PROXY_PASS = os.getenv('IPIPGO_PASSWORD')

III. fünf Schritte zur Basiserfassung

Nehmen wir eine E-Commerce-Website als Ziel, um zu zeigen, wie man Preisdaten sicher erfasst:

von bs4 importieren BeautifulSoup
importiere Anfragen

def basic_crawler(url): response = requests.
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
     Hier ändern wir den Selektor entsprechend der tatsächlichen Seitenstruktur
    prices = soup.select('.price-section')
    return [p.text.strip() for p in prices]

Aber diese nackten laufenden Betrieb, nicht weniger als 10 Minuten absolut blockiert. Als nächstes ziehen wir eine "kugelsichere Weste" an.

IV. ein Proxy-Schild auf einen Crawler aufsetzen

Ändern Sie das Sitzungsobjekt von Anfragen, um den Proxy-Dienst von ipipgo zu integrieren:

session = requests.Session()
session.proxies = {
    'http': f'http://{PROXY_USER}:{PROXY_PASS}@gateway.ip ipgo.com:8080',
    'https': f'http://{PROXY_USER}:{PROXY_PASS}@gateway.ipipgo.com:8080'
}

def safe_crawler(url).
    try.
        response = session.get(url, timeout=10)
        response.raise_for_status()
         Handhabung der Parsing-Logik...
    except requests.exceptions.RequestException as e:: print(f "f", "f", "f", "f", "f", "f")
        print(f "Anfrage fehlgeschlagen: {str(e)}")
         Wiederholungslogik für automatische IP-Umschaltung

Das ist der springende Punkt:Der Proxy-Server von ipipgo verfügt über eine automatische IP-Rotationsfunktion, so dass jede Anfrage eine andere Ausgangs-IP verwenden kann, und es ist effektiver, wenn sie mit einem zufälligen User-Agent verbraucht wird.

Fünftens, der eigentliche Kampf: Die Erfassung von Warendaten wird nicht fortgesetzt

Ein vollständiges Beispiel für die Kombination von Proxy-IPs und Anti-Crawl-Strategien:

import random
from fake_useragent import UserAgent

ua = BenutzerAgent()
headers = {'User-Agent': ua.random}

def super_crawler(url):: {'User-Agent': ua.random}
    headers = {'User-Agent': ua.random}
        with session.get(url, headers=headers) as resp.
            if 'CAPTCHA' in resp.text: if 'CAPTCHA' in resp.text: if 'CAPTCHA' in resp.text.
                print("CAPTCHA ausgelöst!")
                 Hier können Sie auf die Codierungsplattform zugreifen
                return Keine
            soup = BeautifulSoup(resp.text, 'lxml')
             Logik zum Parsen der Daten...
    except Exception as e.
        print(f "Rollover-Seite: {e}")
        return Keine

Mit diesem Satz von aufeinanderfolgend gegriffen 3 Tage eines bestimmten Ost-Ware Daten, ipipgo's Agent-Pool gefroren, ohne Verbot, sichtbare dynamische Wohn-Agent ist in der Tat zuverlässig.

VI. Leitlinien für die Beantwortung häufig gestellter Fragen

F: Warum bin ich immer noch gesperrt, obwohl ich einen Proxy verwende?
A: Überprüfen Sie drei Punkte: 1. ob der Proxy-Typ korrekt verwendet wird (empfohlener Proxy für Wohngebiete) 2. ob die Anfragehäufigkeit zu hoch ist 3. ob ein zufälliger Anfrage-Header verwendet werden soll

F: Was ist der Unterschied zwischen ipipgo und anderen Agenturen?
A: Das Beste an seinem Haus istReal Life Gehäuse IPEr ist nicht so leicht als Serverraum-Agent zu identifizieren. Bei gleichem Anfragevolumen ist die Blockierrate um mehr als 60% niedriger als bei anderen.

F: Wie kann ich das CAPTCHA umgehen, wenn ich es sehe?
A: Verringern Sie die Häufigkeit der Anfragen entsprechend + Simulation von zufälligen Mausbewegungen. Wenn es wirklich zu viele CAPTCHAs gibt, ist es empfehlenswert, professionelle Codierungsdienste in Anspruch zu nehmen.

F: Wie kann ich feststellen, ob eine Vollmacht in Kraft ist?
A: Besuchen Sie die Adresse http://ip.ipipgo.com/checkip, um die derzeit genutzte Ausgangs-IP und den geografischen Standort zu sehen.

VII. zusammenfassende Tipps gegen das Versiegeln

1. die Auswahl der Proxy-IPipipgo WohnungsvermittlerSetzen Sie keine freien Mitarbeiter ein.
2. zufällige Änderung des User-Agents pro Anfrage
3. die Häufigkeit der Anfragen kontrollieren, nicht wie ein Maschinengewehr losballern.
4. kritische DatenerfassungMit automatischer WiederholungCode-Logik
5. regelmäßige Überprüfung der Proxy-Konnektivität und rechtzeitiger Austausch ausgefallener IPs.

Schließlich erinnern alle Crawler, mit Proxy-IP ist nicht eine Goldmedaille, mit der Website-Roboter Vereinbarung einhalten ist ein langer Weg. Benötigen Sie langfristige stabile Sammlung, ist es empfehlenswert, direkt Kontakt ipipgo Kundenservice benutzerdefinierte exklusive Proxy-Programm, ihre technischen Bruder abgestimmt Programm kann die Sammlung von mehrmals effizienter zu machen.