Anleitung zur Python Beautiful Soup Bibliothek: HTML-Parsing in Aktion

当爬虫遇上HTML：先别急着撞南

Die alten Eisen in Netzwerk-Crawler beschäftigt müssen diese Situation begegnet sein: es ist schwierig, ein gutes Skript zu schreiben, plötzlich die Ziel-Website ist schwarz gezogen. Dies ist, wenn Sie zwei Bürsten brauchen - dieWebinhalte analysieren und gleichzeitig lernen, sich zu schützenDas erste, worüber wir heute sprechen werden, ist, dass Beautiful Soup wie ein Schweizer Armeemesser ist. Die Beautiful Soup, über die wir heute sprechen werden, ist wie ein Schweizer Armeemesser, das auf alle Arten von HTML-Schlamasseln spezialisiert ist.

Beginnen wir mit der Rolle von Proxy-IPs in diesem Spiel. Angenommen, Sie wollen eine bestimmte Website kontinuierlich besuchen, um die Daten zu überprüfen, dann ist die Verwendung einer festen IP so, als würden Sie einen fluoreszierenden Anzug tragen, um die Daten zu verfolgen - und in wenigen Minuten enttarnt. Diese ZeitProxy-Pool für ipipgoEs ist praktisch, wenn Sie Hunderte von Cross-Dressing-Requisiten für Sie haben.

 Beispiel für die Verwendung von requests mit einem Proxy
importiere Anfragen
von bs4 importieren BeautifulSoup

proxies = {
    'http': 'http://username:password@gateway.ipipgo.com:9020',
    'https': 'http://username:password@gateway.ipipgo.com:9020'
}

response = requests.get('https://target-site.com', proxies=proxies)
soup = BeautifulSoup(response.text, 'html.parser')

HTML-Anatomie-Lektion: Verstricken Sie sich nicht in Tags

Beautiful Soup ist der tollste Ort, an dem das Chaos von HTML auf zufriedenstellende Weise aufgeräumt werden kann. Schauen wir uns ein paar gängige Tricks an:

1. das Auffinden von Dingen ist wie die Kontrolle der WasseruhrDie Verwendung von find() und find_all() ist wie ein Durchsuchungsbefehl, und der CSS-Selektor ist Ihre GPS-Navigation. Wenn Sie zum Beispiel alle Artikelpreise abrufen möchten:

price_tags = soup.select('.product-price')
for preis in preis_tags.
    print(preis.get_text())

2. die Attributwerte nicht übersehenWenn Sie auf ein Bild oder einen Link stoßen, denken Sie daran, die href oder src herauszuziehen. Geben Sie ein Beispiel für das Erfassen eines Bildes:

images = soup.find_all('img')
for img in images: print(img['src'])
    print(img['src']) Beachten Sie, dass Sie hier eine Fehlermeldung erhalten können, also denken Sie daran, eine Ausnahme hinzuzufügen!

Der richtige Weg zur Eröffnung einer Proxy-IP

Jetzt kommt der Knackpunkt! Ein Fallstrick, in den viele Neulinge tappen:

Empfohlen für ipipgoIntelligenter SchaltmodusDie API wird automatisch verfügbare IPs zuweisen, und es wurde getestet, und die kontinuierliche Sammlung wurde seit 3 Stunden nicht blockiert, was viel zuverlässiger ist als einige Proxy-Dienste, die Hundefleisch verkaufen.

Ärger auf dem Feld

Geraten Sie nicht in Panik, wenn Sie auf ein CAPTCHA stoßen, sondern versuchen Sie diese Tricks:

1. die Häufigkeit der Anfragen zu reduzieren und mit dem Zufallsmodul in den Ruhezustand zu gehen
2. wechseln Sie den User-Agent zu einem anderen Browser.
3. ipipgos alternative IP im Falle einer Sperre sofort zu ändern.
4. wichtige Daten werden stapelweise gesammelt, versuchen Sie also nicht, auf einen Schlag fett zu werden.

 Beispiel für die Maskerade als Browser
headers = {
    User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
response = requests.get(url, headers=headers, proxies=proxies)

Frage-und-Antwort-Runde

F: Warum sollte ich ipipgo anstelle von kostenlosen Proxys verwenden?
A: Ein kostenloser Proxy ist wie eine öffentliche Toilette, jeder kann sie benutzen, aber die Hygiene ist nicht garantiert. Der exklusive Proxy von ipipgo ist wie Ihr eigenes Badezimmer, sauber und hygienisch.

F: Was sollte ich tun, wenn ich auf dynamisch geladene Daten stoße?
A: Sie können mit Selenium arbeiten, denken Sie daran, auch für Selenium einen Proxy aufzuhängen. ipipgo unterstützt das Socks5-Protokoll, das für dieses Szenario geeignet ist.

F: Wie kann ich feststellen, ob eine IP ausgesetzt ist?
A: Besuchen Sie regelmäßig http://httpbin.org/ip检测 und wenn die zurückgegebene IP nicht mit der erwarteten übereinstimmt, beeilen Sie sich und ändern Sie die neue IP von ipipgo.

Eine letzte Bemerkung: Seien Sie ein Crawler und seien Sie kämpferisch. Versaue nicht die Webseiten anderer mit ipipgo'sIntelligente QPS-SteuerungDie Funktion ist es, Effizienz zu gewährleisten und nicht ein Cyber-Rowdy zu sein. Wenn es um schwierige Websites geht, kann ihr technischer Kundendienst auch maßgeschneiderte Lösungen geben, dieser Punkt ist wirklich intimer als Gleichaltrige.