Beautifulsoup Web Crawl: Statische Seitenerfassung

Eine statische Seitensammlungsfibel, die sogar ein Weißer verstehen kann

Kürzlich fragten mich viele Freunde, wie man Python für die Sammlung von Webdaten verwenden kann, insbesondere für statische Seiten, für die man sich nicht anmelden muss und die direkt geöffnet werden können, um den Inhalt zu sehen. Das ist einfach zu sagen, aber es gibt einen großen Fallstrick - dieDie Zielsite hat herausgefunden, dass Sie häufig Daten abgreifen, Minuten zu Ihrer IP schwarz!. Ich habe letzte Woche jemandem bei einem E-Commerce-Vergleichstool geholfen und das Problem mit dem Proxy-Pool von ipipgo perfekt gelöst.

Schauen wir uns zunächst die grundlegende Funktionsweise an:

Anfragen importieren
von bs4 importieren BeautifulSoup

url = 'http://目标网站.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
 Nehmen wir an, wir wollen den Preis eines Produkts erfassen
price = soup.select('.product-price')[0].text

Dieser Code kann nicht ein Problem sein, drei oder fünf Mal laufen, aber wenn Sie in der Masse zu sammeln, wird es sicherlich auslösen die Website Schutz. Zu diesem Zeitpunkt ist es die Proxy-IP Aussehen, als ob das Verfahren eine Vielzahl von "Masken" zu tragen, so dass die Website denkt, es ist eine andere Person in den Besuch.

Zweitens, der Proxy-IP, warum ist die Sammlung der wesentlichen

Direkt zur großen Wahrheit:Ohne Proxy-IP zu surfen ist wie nackt zu laufen.. Proxy IP kann Ihnen vor allem bei der kommerziellen Datenerfassung helfen:

Ich bin schon früher mit kostenlosen Proxys auf die Nase gefallen, die entweder langsam wie eine Schildkröte waren oder plötzlich ausfielen, wenn ich sie benutzte. Dann bin ich auf den kommerziellen Proxy-Pool von ipipgo umgestiegen, und es ist offensichtlich, dass ich michDie Erfolgsquote für Verbindungen steigt von 40% auf 95%insbesondere ihre dynamischen privaten IPs, die hervorragend getarnt sind.

Drittens, die Hand, die Ihnen beibringt, den Agenten in den Code zu stecken

Das Hinzufügen von Proxys zu Anfragen ist eigentlich super einfach, es geht darumLernen Sie, IPs automatisch zu wechseln. Nehmen Sie zum Beispiel die ipipgo-API:

zufällig importieren

def get_proxy().
     Diese wird durch die von ipipgo bereitgestellte API-Adresse ersetzt.
    proxy_liste = requests.get("https://api.ipipgo.com/your-endpoint").json()
    return random.choice(proxy_list)

while True.
    try: proxy = get_proxy()
        proxy = get_proxy()
        response = requests.get(url, proxies={
            "http": f "http://{proxy}", "https": f "http://{proxy}",
            "https": f "http://{proxy}"
        }, timeout=10)
        timeout=10)
    except Exception as e.
        print(f "IP {proxy} hängt fest, wechselt automatisch zum nächsten")

Achten Sie darauf, einen Timeout- und Retry-Mechanismus hinzuzufügen, da einige Proxys vorübergehend ruckeln können. ipipgos API hat den Vorteil, dass sie in der Lage istEchtzeit-Rückgabe der verfügbaren ProxysDas ist viel weniger Aufwand als die Pflege eines eigenen IP-Pools.

Viertens, reale Fälle: Preisüberwachung im elektronischen Handel

Letztes Jahr, als ich einem Freund bei der Erstellung eines Preisvergleichssystems für eine E-Commerce-Plattform half, stieß ich auf die403 Anti-Crawl. Dann gelang der Durchbruch mit ipipgo's rotierenden IP-Schema mit diesen Tipps unten:

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0) ..." , gefälschter Browser
    "Accept-Language": "zh-CN,zh;q=0.9" Chinesische Umgebung
}

soup = BeautifulSoup(response.text, 'lxml') for parser
data = soup.find('script', type='application/ld+json') find hidden data

Das ist der springende Punkt.IP ändern + UA für jede Anfrage ändern, wobei das Erfassungsintervall bei 30-60 Sekunden liegt. Ich habe den IP-Pool von ipipgo mit 100.000 IPs verwendet und ihn drei Monate lang ohne Unterbrechung laufen lassen.

V. Häufig gestellte Fragen QA

F: Was sollte ich tun, wenn ich immer wieder auf CAPTCHA stoße?
A: dass die IP-Qualität ist nicht gut, ändern ipipgo's hohen Bestand an Wohn-IP, zur gleichen Zeit reduzieren die Sammlung Frequenz

Q：Das Sammeln der Hälfte der IP wurde blockiert?
A: Prüfen Sie, ob Sie einen transparenten Proxy verwenden. Der Elite Proxy von ipipgo verfügt über eine HTTPS-Verschlüsselung, die nicht leicht zu erkennen ist.

F: Ist die Reaktion des Agenten zu langsam, um die Effizienz zu beeinträchtigen?
A: Wählen Sie "Extreme Node" im Hintergrund von ipipgo, die tatsächliche Verzögerung kann innerhalb von 800ms kontrolliert werden.

Sechs, Anti-Rollover wesentliche Fähigkeiten

Zum Schluss möchte ich noch ein paar blutige Erfahrungen mitteilen:

1. Benutzen Sie keine kostenlosen Proxys! 99% sind alles Gruben, und die Sammlung fällt zu kritischen Zeiten ab!
2. Vergessen Sie nicht, die Zeitüberschreitung für die Anfrage festzulegen. Es wird empfohlen, dass 8-15 Sekunden angemessen sind.
3. Ich habe zwei Sätze von Proxy-Providern für wichtige Projekte, aber nachdem ich ipipgo benutzt habe, habe ich keine Verwendung mehr für meine Reserven!
4. Prüfen Sie die Website robots.txt vor der Erfassung, um rechtliche Risiken zu vermeiden

Wenn Sie auf der Suche nach einem zuverlässigen Vermittlungsdienst sind, gehen Sie direkt zur ipipgo-Website, um einKostenloses TestpaketIch bin mir nicht sicher, ob ich in der Lage bin, das zu tun. Ihr Kundendienst ist sehr professionell, das letzte Mal, als ich technische Probleme hatte, um 2:00 Uhr morgens sind tatsächlich Leute im Dienst, um sie zu lösen, das ist wirklich überraschend.