C# Parsing HTML: AngleSharp Library Tutorials

Wie funktioniert die AngleSharp-Bibliothek wirklich? Praktisches Web Page Grabbing mit C

Brüder, die sich mit Web-Crawling beschäftigt haben, wissen, dass IP-Sperren ein häufiges Phänomen sind. Zu diesem Zeitpunkt müssen wir unser Bestes geben -Proxy-IPDas erste, was wir heute tun werden, ist die Verwendung des ipipgo Proxy-Service mit der C AngleSharp-Bibliothek. Heute nehmen wir ipipgo home proxy service, mit C's AngleSharp Bibliothek, lehren Sie, wie man in den Code von HTML-Parsing zu spielen.

Seien Sie nicht faul bei der Vorbereitung der Umwelt

Beginnen Sie mit der Installation eines NuGet-Pakets, öffnen Sie den Paketmanager von VS und klicken Sie auf diese Schaltfläche:

Install-Paket AngleSharp
Install-Package AngleSharp.

Proxy-Konfiguration zu konzentrieren, verwenden Sie den HTTP-Proxy von ipipgo zur Verfügung gestellt, denken Sie daran, ihr Format istip:port:konto:passwort. Gib mir eine Kastanie:

var config = Konfiguration.
    .WithRequesters()
    .WithDefaultLoader(new LoaderOptions)
    WithDefaultLoader(new LoaderOptions) {
        IsResourceLoadingEnabled = true,
        Filter = Anfrage =>
        {
            request.Headers["User-Agent"] = "Mozilla/5.0";
            request.Headers["User-Agent"] = "Mozilla/5.0"; return true;
        }
    })
    .WithProxy(neue ProxyOptionen
    {
        new Uri("http://ipipgo-proxy.com:8000"),
        Credentials = new NetworkCredential("Ihr Konto", "Passwort")
    });

Grundlegende Analyse der drei Achsen

Angenommen, Sie möchten die Preise einer E-Commerce-Website erfassen, dann sehen Sie sich zunächst diesen Code an:

var context = BrowsingContext.New(config); var document = await context.OpenAsync("Ziel-URL"); var context = BrowsingContext.
var document = await context.OpenAsync("Ziel-URL");

var priceNodes = document.QuerySelectorAll(".price-class"); var priceNodes = document.
foreach (var node in priceNodes)
{
    Console.WriteLine(node.TextContent.Trim()); }
}

zur Kenntnis nehmenQuerySelectorAllDieses magische Werkzeug, mit CSS-Selektor mit Spiel wie. Wenn Sie auf dynamisch ladende Seiten stoßen, denken Sie daran, es mit ipipgo'sRotationsmittelFunktion, die jeweils eine andere Exit-IP anfordern.

Praktischer Leitfaden zur Vermeidung der Grube

Hier, um einen realen Fall zu teilen: ein Kunde mit einer einzigen IP, um Daten zu erfassen, 10 Minuten gesperrt werden. Später geändert, um ipipgo verwendenIntelligenter Agentenpoolals solche konfiguriert:

var proxyList = new List
{
    "ip1:port:user:pass",
    "ip2:port:benutzer:pass",
    //... Holt die aktuelle Proxy-Liste aus dem ipipgo-Backend
};

var randomProxy = proxyList[new Random().Next(proxyList.Count)];;

Der wichtigste Punkt ist, dassZufällige Auswahl von AgentenIn Kombination mit dem Auto-Retry-Mechanismus von AngleSharp schließt sich der Kreis der Erfolgsquote direkt.

Häufig gestellte Fragen zur Minenräumung

F: Was soll ich tun, wenn ich keine Verbindung zum Agenten herstellen kann?
A: Prüfen Sie zunächst, ob das Paket im ipipgo-Backend gültig ist, versuchen Sie derenTools zur Prüfung der Konnektivität. Denken Sie daran, die Zeitüberschreitung im Code festzulegen:

var requester = new HttpRequester();
requester.Timeout = TimeSpan.FromSeconds(15);

F: Können Sie die Seitenelemente nicht erfassen?
A: 80% ist der Selektor falsch geschrieben, verwenden Sie die Browser-Entwickler-Tools, um den Elementpfad zu bestätigen. ipipgo'sHochversteckte AgentenKann vermeiden, von Websites als Crawler erkannt zu werden.

F: Müssen Sie JavaScript-Rendering behandeln?
A: AngleSharp selbst unterstützt kein JS, dieses Mal müssen Sie PuppeteerSharp verwenden, aber denken Sie daran, ipipgo proxy im headless browser zu konfigurieren:

var options = new LaunchOptions
{
    Args = new[] { $"--proxy-server=http://{randomProxy}" }
};

Warum ipipgo?

Beim Vergleich der drei Anbieter in der Praxis gewinnt ipipgo in drei Bereichen:

Insbesondere ihreMaklerpool auf kommerzieller EbeneEr unterstützt den gleichzeitigen Start von mehr als 500 Verbindungen ohne Verzögerung und ist für Crawler-Projekte auf Unternehmensebene geeignet.

Ein letztes Wort zur Vorsicht beim Web-CrawlingBerufsethikSie können die Häufigkeit der Anfragen kontrollieren. Kontrollieren Sie die Häufigkeit der Anfragen, legen Sie nicht die Server anderer Leute lahm. Verwenden Sie ipipgo.Intelligenter GeschwindigkeitsbegrenzerDas System passt das Abfrageintervall automatisch an, was sowohl effizient als auch sicher ist.