C# Parsing HTML : Tutoriels de la bibliothèque AngleSharp

Lorsque le crawler rencontre l'anti-climbing, le proxy IP vient à la rescousse !

Quel est le plus grand mal de tête pour tous ceux qui écrivent des crawlers en C ? Neuf programmeurs sur dix diront que c'est le blocage de l'IP ! Cette fois, nous devons demander à notre sauveur - le proxy IP. Aujourd'hui, nous pouvons dire que la bibliothèque AngleSharp ne se contente pas d'analyser le HTML rapidement et avec précision, avec le service ipipgo proxy IP, elle permet directement au crawler de doubler la force de combat.

Cinq minutes pour apprendre le fonctionnement de base de l'AngleSharp

Commençons par les choses sérieuses, dit l'installateur :

Installer le paquet AngleSharp

En guise d'exemple de saisie du prix d'un article, remarquez comment le sélecteur CSS est utilisé :

var config = Configuration.Default.WithDefaultLoader() ; var context = BrowsingContext.New(config) ; var context = BrowsingContext.
var context = BrowsingContext.New(config) ; var document = await context.OpenAsync("Target URL") ; var context = BrowsingContext.
var document = await context.OpenAsync("Target URL") ; var document = await context.OpenAsync("Target URL") ; var document = await context.OpenAsync("Target URL") ; var document = await context.

var priceNodes = document.QuerySelectorAll(".price-item") ; var priceNodes = document.QuerySelectorAll(".price-item") ; var priceNodes = document.
foreach (var node in priceNodes)
{
    Console.WriteLine(node.TextContent) ; }
}

A ce stade, si le site a constaté que vous le fréquentez fréquemment, cliquez sur le blocage de l'IP. Pas de panique, notreipipgo Proxy IPIl s'est avéré utile tout de suite.

Le secret d'une cape d'invisibilité pour les reptiles

Voici ce qu'il faut faire ! Ajoutez les paramètres du proxy dans la méthode OpenAsync :

var proxy = new ProxyOptions
{
    Type = ProxyType.Http, Host = "ipipgo-assigned proxy address", var proxyOptions {
    Host = "L'adresse proxy assignée par ipipgo",
    Port = Numéro de port
} ;

var config = Configuration.
    .WithDefaultLoader()
    .WithProxy(proxy) ; var config = Configuration.

N'oubliez pas de remplir l'en-tête de la requête avec le mot de passe du compte fourni par ipipgo :

var headers = new Dictionary
{
    { "Proxy-Authorisation", "Basic " + Convert.ToBase64String(Encoding.ASCII.GetBytes("Account:Password"))} }.
} ;

Conseils pratiques et astuces

Questions fréquemment posées QA pour les conducteurs vétérans

Q : Que dois-je faire si mon IP proxy tombe soudainement en panne ?
R : Pour changer rapidement la fonction de rotation automatique d'ipipgo, il est recommandé de choisir la version entreprise du paquet, le voleur de vitesse de mise à jour du pool IP.

Q : Comment puis-je savoir si une procuration est en vigueur ?
R : Ajoutez un test dans le code pour vérifier si l'IP renvoyée est une IP proxy :

var checkDoc = await context.OpenAsync("http://ip.ipipgo.com/") ;
Console.WriteLine(checkDoc.Body.TextContent) ;

Q : Que dois-je faire si je dois gérer plusieurs sites web en même temps ?
R : Utilisez la fonction de proxy concurrent d'ipipgo avec le traitement parallèle d'AngleSharp, et n'oubliez pas de définir un intervalle raisonnable entre les requêtes.

Guide pour éviter la fosse

Trois erreurs courantes commises par les débutants :

1. L'IP du proxy a expiré et meurt encore (utilisez la fonction de rappel d'expiration d'ipipgo).
2. Pas de User-Agent dans l'en-tête de la requête (facilement reconnu comme un bot)
3. Ignorer la validation du certificat SSL (certains sites la bloquent)

Enfin, il convient de rester vigilant lors du choix d'un fournisseur de services proxy. Des sociétés commeipipgoCe type de surveillance en temps réel de la disponibilité des adresses IP permet de sauver des vies. Les documents relatifs à l'intégration de l'API sont rédigés en détail et un service clientèle technique spécial est disponible à tout moment, de sorte que personne ne craint les problèmes.