Web Crawling mit Beautiful Soup: Ein Leitfaden zum Parsen von HTML

Praktische Anwendung von Beautiful Soup zum Datendiebstahl

Kürzlich, eine Menge von kleinen Partnern fragte mich, mit Python Taschendieb Website ist immer Anti-Klettern, um den Zusammenbruch des Geistes, wie zu tun? Heute werden wir nag, wie Beautiful Soup dieses Tool mit Proxy-IP zu verwenden, so dass Pick-Daten diese Angelegenheit wird einfach und zuverlässig.

Warum eine Proxy-IP zum Abholen von Daten verwenden?

Zum Beispiel, wenn Sie in einem Internet-Café hocken und spielen Spiele die ganze Nacht, und der Chef sieht, dass Sie zu hoch spielen und zieht das Internet-Kabel direkt, dann können Sie weiterhin hoch zu bekommen, wenn Sie Ihren Sitz zu ändern. Proxy-IP ist der Grund, wenn die Website festgestellt, dass Sie zu oft anfordern, ändern Sie die IP-Adresse kann weiterhin funktionieren.

Wir empfehlen es.ipipgoAgenturdienste, die sich auf die Lösung dieser Probleme spezialisiert haben:

1. massiver IP-Pool, der jederzeit umgeschaltet werden kann
2. die Erfolgsrate der Anfragen liegt stabil bei 99%+.
3. unterstützt das HTTP/HTTPS/SOCKS5-Protokoll

Vor allem bei der Überwachung von E-Commerce-Preisen für Projekte, die eine langfristige Erfassung erfordern, kann die Inanspruchnahme ihrer Agenten eine Menge Ärger ersparen.

Konfigurieren der Agentenumgebung

Rüsten Sie zuerst das wesentliche Instrumentarium aus:

pip install beautifulsoup4 Anfragen

Hier gibt es einen kleinen Fallstrick: In vielen Tutorials wird nicht erklärt, wie man die Zeitüberschreitung einstellt, also müssen wir es so schreiben:

Anfragen importieren
von bs4 importieren BeautifulSoup

proxies = {
    'http': 'http://username:password@gateway.ipipgo.com:9020',
    'https': 'http://username:password@gateway.ipipgo.com:9020'
}

try.
    response = requests.get('Ziel-URL', proxies=proxies, timeout=10)
    soup = BeautifulSoup(response.text, 'html.parser')
except requests.exceptions.ProxyError as e:
    print("Der Proxy ruckelt, überprüfen Sie jetzt die Konfiguration!")

Dies wird hier verwendetipipgoDas Authentifizierungsformat, denken Sie daran, Ihr Kontopasswort zu ersetzen. Es wird empfohlen, die Timeout-Einstellung nicht unter 8 Sekunden zu setzen, um dem Server Zeit zu geben, zu reagieren.

HTML-Parsing-Tipps

Geraten Sie nicht in Panik, wenn Sie auf dynamisch geladene Inhalte stoßen, versuchen Sie es mit diesen Tipps zur Positionierung:

 Divs finden, deren Klasse "Preis" enthält.
soup.select('div[class=price]')

 Erfassen Sie die dritte Zeile der zweiten Tabelle
soup.find_all('table')[1].find_all('tr')[2]

 Schlüsselwörter aus den Meta-Tags extrahieren
soup.find('meta', {'name':'keywords'})['content']

Wenn Sie eine Seitenstruktur haben, die sich häufig ändert, ist es empfehlenswert, dass Sie dieipipgoDie rotierende IP-Funktion in Verbindung mit einem Wiederholungsmechanismus:

versuchen.
         Hier wird die IP automatisch umgeschaltet
        Antwort = requests.get(url, proxies=proxies)
        except: response = requests.get(url, proxies=proxies)
    except: weiter
        weiter

Häufig gestellte Fragen QA

F: Was sollte ich tun, wenn die Proxy-IP plötzlich nicht mehr richtig funktioniert?
A: Prüfen Sie zunächst, ob das Konto abgelaufen ist, und verwenden Sie dann dieipipgoIP-Erkennungstools im Hintergrund, manchmal blockiert die Ziel-Website vorübergehend bestimmte IP-Segmente.

F: Wie kann ich sicher sein, dass die Vollmacht wirksam ist?
A: Bauen Sie einen Test in den Code ein:

print(requests.get('http://httpbin.org/ip', proxies=proxies).json())

Es ist gut zu sehen, dass die zurückgegebene IP nicht die lokale Adresse ist.

F: Was kann ich tun, wenn ein Fehler beim SSL-Zertifikat auftritt?
A: Fügen Sie den Parameter verify=False zur Anfrage hinzu, oder wenden Sie sich an denipipgoDer Kundendienst wechselte zu seinem SSL-Zertifikat.

Eine weiterentwickelte Version des Tricks.

Vergessen Sie nicht, diese Konfigurationen hinzuzufügen, wenn Sie durchgehend 24 Stunden am Tag arbeiten wollen:

 Zufälliges Warten 1-3 Sekunden
random importieren
time.sleep(random.uniform(1,3))

 Die Identität des Browsers verschleiern
headers = {
    Benutzer-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36...'
}

fitipipgoDas volumenbasierte Abrechnungspaket, das verteilte Crawling kann eine Menge Silber sparen. Ihre API kann auch eine Liste der verfügbaren IPs in Echtzeit erhalten, was besonders für Szenarien geeignet ist, die eine hohe Gleichzeitigkeit erfordern.

Schließlich, obwohl die Verwendung von Proxy-IP, aber nicht sammeln Website-Daten zu Tode. Kontrollieren Sie die Häufigkeit der Anfragen, und sein eine ethische Crawler-Ingenieur, so dass unsere Crawler-Geschäft kann langlebig sein~.