Java Web Crawler: Jsoup Parsing HTML Tutorial

Crawler werden durch die IP-Adresse der Website blockiert?

Vor kurzem habe ich einem Freund geholfen, die Preisdaten einer E-Commerce-Plattform abzufangen, und das Ergebnis war, dass nur 300 IPs blockiert wurden. Wenn man heutzutage ein Crawler ist und nicht weiß, wie man eine Proxy-IP verwendet, ist es, als würde man nackt auf das Schlachtfeld rennen. Heute werden wir uns damit beschäftigen, wie man die Jsoup-Bibliothek von Java verwendet, um die Daten abzufangen, und uns darauf konzentrieren, wie man dieProxy-Dienste für ipipgoDen Frieden bewahren.

Jsoup Grundbetrieb drei Stück

Fangen wir mit dem einfachsten Code an:

// Denken Sie daran, zuerst das Paket zu importieren!
import org.jsoup.
importieren org.jsoup.nodes.

public class BasicCrawler {
    public static void main(String[] args) throws Exception {
        Dokument doc = Jsoup.connect("https://目标网站.com")
                          .timeout(5000)
                          .timeout(5000); .get();
        System.out.println(doc.title());
    }
}

Das Problem mit diesem Code ist wie eine Zecke im Kopf - es ist offensichtlich. Wenn Sie Ihre echte IP-Adresse direkt preisgeben, werden Sie in weniger als einer halben Stunde gesperrt. Dann ist es an der Zeit, dassProxy-IP für ipipgoAuf dem Spielfeld.

Der richtige Weg zur Eröffnung einer Proxy-IP

Das Hinzufügen von Proxys zu Ihrem Code ist einfacher als Instant-Nudeln zu kochen, es kommt nur auf die richtige Haltung an. Sehen Sie sich das an:

// Siehe hier für Highlights!
public class ProxyDemo {
    public static void main(String[] args) {
        // Proxy-Informationen von ipipgo
        String proxyHost = "gateway.ipipgo.com";
        int proxyPort = 9021;
        String username = "Ihre Kontonummer"; int
        String password = "Ihr Passwort";

        try {
            Dokument doc = Jsoup.connect("https://目标网站.com")
                              .proxy(proxyHost, proxyPort)
                              .timeout(10000)
                              .header("Proxy-Authorisation", "Basic " +
                                  Base64.getEncoder().encodeToString(
                                      (Benutzername+": "+Passwort).getBytes())))
                              .get();
            System.out.println("Erfolgreich getarnt! Seitentitel: " + doc.title());
        } catch (Exception e) {
            System.err.println("Überrollt! Fehlermeldung:" + e.getMessage());
        }
    }
}

Hier sind ein paarHinweise zur Vermeidung von Fallstricken::

• Seien Sie nicht zu knauserig mit Ihrer Zeitüberschreitung, 8 Sekunden werden für den Anfang empfohlen.
• Denken Sie daran, SSL-Zertifikatsprobleme zu behandeln (Sie können .ignoreHttpErrors(true) hinzufügen)
• IP-Pool sollte groß genug sein, es wird empfohlen, den dynamischen Wohn-Proxy von ipipgo zu verwenden

Praktisch: Crawlen von E-Commerce-Preisdaten

Angenommen, wir wollen den Preis eines Artikels aus einem bestimmten Osten abfragen, dann sieht die HTML-Struktur wie folgt aus:

<div class="price">
  <span class="main-price">¥2999</span>
  <span class="discount">Vollständige Kürzung um 500</span>
</div>

entsprechenden Java-Code:

Elements prices = doc.select(".price . main-price");
for (Element Preis : Preise) {
    System.out.println("Aktueller Preis: " + preis.text().replace("¥", "")); }
}

Wenn Sie zu diesem Zeitpunkt keinen Proxy verwenden, werden Sie innerhalb weniger Minuten als Crawler erkannt. Verwenden Sie ipipgo'sIntelligente RotationsagentenFunktion, mit der die IPs automatisch gewechselt werden, was weitaus weniger mühsam ist als ein manueller Wechsel der IPs.

Häufig gestellte Fragen QA

Q：Was soll ich tun, wenn meine Proxy-IP nach der Nutzung ungültig wird?
A: Diese Situation ist achtzig Prozent der IP ist das Ziel Website schwarz gezogen. Anregung:
1. prüfen, dass die Häufigkeit der Anfragen nicht zu hoch ist
2. zum dynamischen Wohn-Proxy-Paket von ipipgo wechseln
3) Hinzufügen eines Ausfallsicherungsmechanismus

F: Wie setzt man den Request-Header in Jsoup?
A: Kettenaufrufe nach .connect():
.header("User-Agent", "Mozilla/5.0...")
.header("Accept-Language", "zh-CN")

F: Wie wähle ich ein Agentenpaket für ipipgo?
A: Das hängt vom jeweiligen Geschäftsszenario ab:

Anti-Blocking-Strategie-Bündel

Es reicht nicht aus, ein Agent zu sein, sondern es muss mit diesen Kombinationen kombiniert werden:

• Zufällige Schlafzeit (0,5-3 Sekunden)
• Ersetzung des User-Agenten
• Simulation der Mausbewegung (mit Selenium)
• Regelmäßige Cookie-Löschung

Ein letztes Wort aus dem Herzen: im Reptiliengeschäft.Stabile und zuverlässige Proxy-IPEs ist Ihr zweites Leben. Einen eigenen Proxy-Server zu betreiben ist zeit- und arbeitsintensiv. Warum also nicht einfach einen professionellen Service wie ipipgo nutzen und so Zeit sparen, um mehr Zeit mit Ihrer Familie zu verbringen?