Python Crawler Kampf: BeautifulSoup schnell crawlen Web-Daten

Praktische Übungen zur Verwendung von Proxy-IP zur Vermeidung von Anti-Kletterfallen

Vor kurzem hat eine Reihe von alten Eisen tun Datenerfassung mit mir beschwerte sich, dass die Verwendung von Python's BeautifulSoup, um Daten zu erfassen ist immer von der Website IP blockiert. diese Sache, es ist das gleiche wie das Spiel zu spielen war Verbot Nummer ein Grund -Die Website überwacht, dass Sie zu viele Anfragen in einer kurzen Zeitspanne senden.Das erste, was Sie tun müssen, ist, einen Proxy-IP zu verwenden, um Ihre wahre Identität zu verschleiern. Dieses Mal ist es notwendig, auf Proxy-IP verlassen, um die wahre Identität zu verschleiern, ipipgo home dynamischen IP-Pool getestet, um in der Lage sein, eine kontinuierliche 8 Stunden von hochfrequenten Anfragen zu tragen.

Zunächst einmal eine kalte Erkenntnis für den Neuling: viele Websites Anti-Climbing-Mechanismus wird die Häufigkeit der Besuche auf eine einzelne IP zu zählen. Wenn Sie Ihr eigenes Heim-Breitband verwenden, um eine Anfrage zu senden, nicht eine halbe Stunde quasi auf der schwarzen Liste. Letztes Jahr gibt es einen E-Commerce-Vergleich von Kumpels, denn es gibt keine hängenden Proxy, das Firmennetzwerk IP für drei Tage blockiert zu bekommen, der Chef fast lassen Sie ihn für die Breitband-Gebühr zu kompensieren.

Praktische Konfiguration des Proxy-IP-Tao-Betriebs

Beginnen Sie damit, den unverzichtbaren dreiteiligen Anzug zu laden:

Jetzt kommt der Knackpunkt! Der Proxy-Dienst mit ipipgo muss wie folgt konfiguriert werden:

Anfragen importieren
von bs4 importieren BeautifulSoup

proxies = {
    'http': 'http://用户名:密码@gateway.ipipgo.com:端口',
    'https': 'http://用户名:密码@gateway.ipipgo.com:端口'
}

headers = { 'User-Agent': 'Zufällig generierter UA'}
response = requests.get('Ziel-URL', proxies=proxies, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

Hier gibt es einen Fallstrick, auf den Sie achten sollten:Denken Sie daran, urllib.parse.quote zu verwenden, wenn Ihr Passwort Sonderzeichen enthält.Ich hatte einen Bruder, der keine Verbindung zum Proxy herstellen konnte, ohne dass das @-Symbol verschlüsselt war. Ich hatte einen Bruder, der keine Verbindung zum Proxy herstellen konnte, wenn das @-Symbol nicht transkodiert war, und es dauerte zwei Stunden der Fehlersuche, um das Problem zu finden.

Ein fortschrittliches Spiel mit dynamischer IP-Rotation

Sich auf eine Proxy-IP zu verlassen, ist nicht stabil genug, man muss lernen zu spielenIP-Pool-RotationDie API-Schnittstelle von ipipgo kann direkt die neueste IP-Liste abrufen. Verwenden Sie dieses Skript, um eine automatische Umschaltung zu erreichen:

zufällig importieren

def get_ip_list().
     Ruft die ipipgo-API auf, um den aktuellen IP-Pool zu erhalten.
    return [
        '111.222.33.44:8000',
        '112.233.45.67:8080', ...
         ... Andere IPs
    ]

aktuelle_ip = random.choice(get_ip_list())

Es wird empfohlen, alle 30-50 Anfragen die IP zu ändern, so dass es nicht einfach ist, Anti-Climbing auszulösen, sondern auch die Effizienz der Sammlung zu erhalten. Getestet mit dieser Methode, eine E-Commerce-Website zu sammeln 30.000 aufeinanderfolgende Ware Daten sind nicht umgestürzt.

Ein Leitfaden für Neulinge zur Vermeidung von Fallstricken

1. Verwenden Sie keine kostenlosen Proxys für billigeNeun von zehn dieser öffentlichen freien IPs sind Schrott, entweder langsam oder längst von der Website abgezogen.
2. die HTTPS-Site muss mit dem https-Protokoll-Proxy übereinstimmen, bei falscher Protokollübereinstimmung werden SSL-Fehler gemeldet
3. 403-Fehler: Prüfen Sie zunächst, ob der User-Agent nicht zufällig gewechselt hat.
4. wichtige Datenerfassung wird mit dem exklusiven IP-Paket von ipipgo empfohlen, Stabilität direkt ziehen volle

Häufig gestellte Fragen QA

F: Was sollte ich tun, wenn meine Proxy-IP langsam ist?
A: Wählen Sie den Knoten, der sich in der Nähe des Zielservers befindet. Wenn Sie zum Beispiel Websites in Nordchina sammeln, wählen Sie den Serverraum-Knoten von ipipgo in Peking.

F: Wie kann ich feststellen, ob eine Vollmacht in Kraft ist?
A: Verwenden Sie requests.get('http://httpbin.org/ip'), um zu sehen, ob sich die zurückgegebene IP-Adresse geändert hat

F: Worauf muss ich achten, wenn ich mehrere Crawler-Threads gleichzeitig starte?
A: Jedem Thread sollte eine andere Proxy-IP zugewiesen werden. Es wird empfohlen, das concurrent authorisation package von ipipgo zu verwenden, das mehrere Threads zum gleichzeitigen Abrufen verschiedener IPs unterstützt.

F: Kann ich die gesperrte IP wieder verwenden?
A: Gewöhnliche Proxy-IP ist blockiert müssen 24 Stunden warten, ipipgo's hochwertige Proxy-Pool wird automatisch filtern die ungültige IP, Echtzeit-Update der verfügbaren Ressourcen!

Zum Schluss noch ein Ratschlag: Sparen Sie nicht an Proxy-IPs! Ich habe schon erlebt, dass Leute minderwertige Proxys billig gekauft haben, und die gesammelten Daten wurden mit Informationen von Konkurrenten vermischt, was dazu führte, dass die Marketingstrategie des Unternehmens völlig daneben ging. Mit ipipgo's Enterprise-Level-Proxy gibt es Spezialisten, die die IP-Qualität überprüfen, was eine Menge Ärger bei der späteren Datenbereinigung ersparen kann.