BeautifulSoup Beispiel: Python parst HTML-Code

Crawler sind immer blockiert IP, versuchen Sie diese Combo!

Brüder sollten diese Situation schon einmal erlebt haben, oder? Wenn Sie ein Crawler-Skript in Python schreiben, erhalten Sie einen 403-Fehler von der Ziel-Website nur nach zwei Minuten der Ausführung. Zu diesem Zeitpunkt sollten Sie nicht überstürzt die Tastatur zertrümmern, heute lernen Sie, dieBeautifulSoup+ProxyIPDieses goldene Paar soll das Eis brechen.

Um einen realen Fall zu zitieren: Im letzten Monat gibt es einen E-Commerce-Preisvergleich Bruder, mit gewöhnlichen Skript, um die Daten einer Shopping-Plattform zu fangen, die Ergebnisse nur eine halbe Stunde laufen IP wird schwarz gezogen werden. Später geändert, um ipipgo rotierenden Proxy-Schema zu verwenden, mit dem Parsing-Fähigkeiten, die wir gehen, um darüber zu sprechen, jetzt jeden Tag zu Zehntausenden von stabilen Ware Informationen zu erfassen.

Praktischer Aufbau einer Anti-Blocking-Umgebung

Installieren Sie zunächst diese beiden wichtigen Bibliotheken (denken Sie daran, dass Sie in einer virtuellen Umgebung arbeiten):

pip install beautifulsoup4 Anfragen

重点来了！传统就像裸奔上网，用代理IP相当于给爬虫穿防弹衣。这里以ipipgo的服务为例，演示如何配置：

proxies = {
    'http': 'http://username:password@gateway.ipipgo.com:9020',
    'https': 'http://username:password@gateway.ipipgo.com:9020'
}

Achten Sie darauf, die Authentifizierungsdaten durch Ihr eigenes Konto zu ersetzen. Der exklusive Proxy von ipipgo hat für jeden Kanal separate Ports, also verwechseln Sie sie nicht.

Vier Schritte zur Behebung des Web-Parsing

Parsing einer Nachrichtenseite in der realen Welt (desensibilisiert):

Anfragen importieren
von bs4 importieren BeautifulSoup

headers = {'User-Agent': 'Mozilla/5.0'} fake browser
response = requests.get('https://example.com/news', proxies=proxies, 'https://example.com/news', 'https://example.com/news', 'https://example.com/news')
                       proxies=proxies, headers=headers)
                       headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

 Erfassen von Titeln mit einer bestimmten Klasse
titles = soup.find_all('h3', class_='news-title')
for title in titles.
    print(title.get_text().strip())

Ein Leitfaden, um die Grube zu vermeiden:Hier sind die meisten einfach an drei Stellen zu pflanzen: 1) nicht hinzufügen, die Anfrage Header wird als Crawler identifiziert 2) schlechte Qualität Proxy-IP führt zu Anfrage Fehler 3) Seitenstruktur Änderungen führen zu Selektor Fehler. Die ersten beiden Probleme können mit ipipgo's Qualitäts-Proxy + Standard-Request-Header-Vorlage gelöst werden.

Wie kann man dynamische Inhalte unterbrechen?

Wenn es um JavaScript-gerenderte Seiten geht, ist BeautifulSoup vielleicht nicht genug. Keine Panik, es ist die ultimative Lösung:

Denken Sie bei der Selenium-Lösung daran, den Proxy in der Treiberkonfiguration hinzuzufügen:

von selenium import webdriver

Optionen = webdriver.ChromeOptions()
options.add_argument('--proxy-server=http://gateway.ipipgo.com:9020')
Treiber = webdriver.Chrome(Optionen=Optionen)

Häufig gestellte Fragen Erste-Hilfe-Kasten

F: Warum wird sie immer noch blockiert, obwohl ich offensichtlich einen Proxy verwende?
A: Überprüfen Sie drei Dinge: 1) ob der Proxy in Kraft ist 2) ob die Häufigkeit der Anfragen zu hoch ist 3) ob er die Anti-Climbing-Regeln der Website auslöst. Es wird empfohlen, das ipipgo-Paket für die Abrechnung nach Volumen zu verwenden, um automatisch zwischen IPs mit hoher Auslastung zu wechseln.

F: Was soll ich tun, wenn der Rückgabecode unübersichtlich ist?
A: Geben Sie die Kodierung während der Initialisierung von BeautifulSoup an:
soup = BeautifulSoup(response.content, 'html.parser', from_encoding='utf-8')

F: Wie wähle ich ein Agentenpaket für ipipgo?
A: Für AnfängerTestversion(5 $/Tag), zu überweisen, wenn sich der Betrieb stabilisiertKundenspezifische Edition für UnternehmenDies ist das erste Mal, dass wir dies getan haben. Besonderer Hinweis: Do groß angelegte Sammlung muss exklusive IP-Pool wählen, geteilte IP ist einfach, sich gegenseitig zu beeinflussen.

Abschließende Anmerkung: Das Herzstück des Web-Parsing liegt in derStabile Seitenerfassung + genaue Datenextraktion. Verwenden Sie ipipgo Proxy-Service ist wie ein Turbolader für den Crawler, sowohl um die IP zu vermeiden, blockiert und verbessern die Sammlung Effizienz. Es gibt spezifische Fragen willkommen zu ipipgo offizielle Website, um technische Unterstützung zu finden, ihre technische Kundendienst Reaktionsgeschwindigkeit ist wirklich schnell, persönlich testen die Art von Sekunden zurück.