BeautifulSoup-Crawler-Crashkurs: E-Commerce-Datenerfassung

Ein kleines Weißes kann auch mit dem Krabbler spielen, um die Haltung zu beginnen

Sie möchten mit Daten aus dem elektronischen Handel arbeiten, wissen aber nicht, wie man programmiert? Keine Panik, nutzen wir PythonsBeautifulSoupDieses Artefakt ist eine dreifache Anstrengung, um loszulegen. Laden Sie diese beiden zuerst:Anfragen BibliothekVerantwortlich für die Erfassung von Webseiten.beautifulsoup4Verantwortlich für die Disassemblierung der Daten. Denken Sie an den Befehl install:

pip install requests beautifulsoup4

Wenn Sie z. B. den Preis einer bestimmten Ware abfragen wollen, sieht das Grundgerüst des Codes wahrscheinlich so aus:

Anfragen importieren
von bs4 importieren BeautifulSoup

url = 'https://某电商网站/product/123'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
preis = soup.find('span', class_='preis').text
print(f'Aktueller Preis: {Preis}')

Das erste, was Sie tun müssen, ist, eine Proxy-IP zu verwenden, die ein Rettungsanker ist!

Viele Neulinge fallen inIP gesperrtZu diesem Thema. E-Commerce-Sites sind so raffiniert, dass die gleiche IP-Anfragen wie verrückt und Blacklists Sie in Minuten. Dies ist der Zeitpunkt, an dem Sie sich aufipipgoDer Proxy-IP-Dienst, um das Leben zu erneuern, ist das Prinzip wie Guerilla-Krieg - ändern Sie verschiedene IP-Adressen für jede Anfrage.

Markieren Sie es dreimal:Verwenden Sie keine kostenlosen Agenten! Benutzen Sie keine kostenlosen Proxys! Benutzen Sie keine kostenlosen Bevollmächtigten!Diese Geräte sind entweder langsam wie Schnecken oder wurden von den Websites längst auf eine schwarze Liste gesetzt. Mit dem exklusiven Proxy-Pool von ipipgo ist jede IP garantiert "frisch gebacken".

Drittens, der richtige Weg, um die Proxy-IP zu öffnen

Nehmen Sie ipipgo als Beispiel, nachdem Sie die API-Schnittstelle erhalten haben, erhalten Sie vor jeder Anfrage eine neue IP.Timeout-Einstellungim Gesang antwortenBehandlung von AusnahmenDer Code wird auf diese Weise geändert:

proxies = {
    'http': 'http://用户名:密码@ipipgo proxy address:port',
    'https': 'http://用户名:密码@ipipgo proxy address:port'
}

try.
    response = requests.get(url, proxies=proxies, timeout=10)
except Exception as e.
    print(f'Anfrage fehlgeschlagen, Wechsel zur nächsten IP: {str(e)}')

Viertens, der eigentliche Kampf: Erfassen von Produktdetails

Nehmen Sie die Struktur einer E-Commerce-Seite ins Visier und verwenden Sie das Entwicklerwerkzeug (F12), um die HTML-Tags für Preis, Bestand und andere Daten zu finden. Finden Sie zum Beispiel den Preis, der in der<div class="”product-price”">Darin ist der Code wie folgt geschrieben:

price_tag = soup.select_one('div.product-price')
if preis_tag.
    aktueller_preis = preis_tag.text.strip().replace('¥','')
else: aktueller_Preis = preis_tag.text.strip('¥',')
    print('Das Preisschild kann umgestaltet werden!')

Denken Sie an die Verwendung vonZufallsüberwinterung(time.sleep(1~3 seconds)), um die Arbeitsweise eines echten Menschen zu simulieren, und nicht wie ein Roboter wild umherzuziehen.

v. leitfaden für die entminung gemeinsamer probleme

Q：Was sollte ich tun, wenn die Proxy-IP plötzlich keine Verbindung mehr herstellt?
A: Überprüfen Sie zunächst, ob das Passwort des Kontos korrekt ist, und versuchen Sie dann, die Proxy-Adresse manuell anzupingen. Wenn ipipgo im Hintergrund eine normale IP anzeigt, kann es sich um einen vorübergehenden Ruck der Ziel-Website handeln.

Q：Datenerfassung zurück ist chaotisch?
A: In requests.get() hinzufügenresponse.encoding = 'utf-8'oder entsprechend dem Zeichensatz im Quellcode der Seite angepasst.

F: Wie kann ich feststellen, ob eine Vollmacht in Kraft ist?
A: Besuchen Sie https://httpbin.org/ip, um zu sehen, ob die zurückgegebene IP eine Proxy-Adresse ist.

VI. Verborgene Vorteile von ipipgo

Sie haben eine Familie.Intelligente UmschaltungDie Funktionen sind ziemlich mühelos, und er wechselt automatisch zu einem neuen, wenn er auf eine IP-Sperre stößt. Kürzlich kam auch herausvolumetrische AbrechnungPaket, das sich besonders gut für die Sammlung in kleinem Maßstab eignet. Neueinsteigern wird empfohlen, zunächst mit dem Erfahrungspaket zu üben und dann auf das große Verkehrspaket umzusteigen, wenn sie mit diesem vertraut sind.

Der letzte nörgelnde Satz: Machen Sie Datenerfassung, um von Tugend zu sprechen, machen Sie nicht die Websites anderer Leute kaputt. Kontrollieren Sie die Häufigkeit der Anfragen, seien Sie nicht knauserig, wenn Sie doch einen Proxy benutzen sollten!ipipgoDie Mittel sind nicht teuer, und es wäre ein echter Verlust, wenn sie verboten würden.