C# Bibliothèque de capture de pages Web : Tutoriel HtmlAgilityPack

HtmlAgilityPack + Proxy IP Combinaison double épée

Quel est le plus grand casse-tête pour les vieux ferrailleurs qui veulent faire du web crawling ? Neuf fois sur dix, l'IP est bloquée ! Aujourd'hui, nous allons parler de l'utilisation du HtmlAgilityPack de C.ipipgo Proxy IP Serviceafin de créer un système de crawler qui soit à la fois stable et résistant au blocage.

HtmlAgilityPack Première expérience

Cette chose est équivalente à l'installation en C d'un plug-in d'analyse de pages web, l'utilisation d'expressions régulières permet d'éviter bien des problèmes. Par exemple, vous voulez saisir le prix d'un site de commerce électronique :

var web = new HtmlWeb() ; var doc = web.
var doc = web.Load("https://目标网站") ; var priceNode = doc.
var priceNode = doc.DocumentNode.SelectSingleNode("//span[@class='prix']") ;
Console.WriteLine(priceNode.InnerText) ;

Mais si l'opération est directe, elle ne peut pas être bloquée par l'IP pendant trois jours !Armure - ipipgo proxy ip.

La bonne façon d'ouvrir un proxy IP

Pour HtmlWeb, la mise en place d'un proxy est en fait très simple, il s'agit d'utiliser un pool de proxy fiable. Prenez ipipgo par exemple, leur API ressemble à ceci :

var proxy = new WebProxy("gateway.ipipgo.com:8000", true) {
    Credentials = new NetworkCredential("Votre compte", "Mot de passe")
} ;

var web = new HtmlWeb() ;
web.PreRequest = request => {
    request.Proxy = proxy ; } ; var web = new HtmlWeb()
    request.Proxy = proxy ; return true ; } ; var web = new HtmlWeb()
} ; }

Délimiter l'objectif :N'oubliez pas de mettre les IP sur liste blanche dans le backend d'ipipgo !Sinon, l'authentification échouera. Le test réel avec leur agent résidentiel dynamique, pris pendant 2 semaines d'affilée, n'a pas déclenché le mécanisme anti-escalade.

Conseils pour le réglage des paramètres de l'agent

Voici un tableau de comparaison des paramètres qui fonctionne en personne :

N'oubliez pas de mettre des délais aléatoires dans le code, ne soyez pas à l'heure comme un robot :

var rand = new Random() ; // Dort aléatoirement pendant 1 à 5 secondes.
Thread.Sleep(rand.Next(1000, 5000)) ; // Dort de manière aléatoire pendant 1 à 5 secondes.

Guide pratique pour éviter la fosse

Fosse 1 : Rapports d'erreurs sur les certificats SSL
N'oubliez pas de l'ajouter lorsque vous utilisez le proxy HTTPS d'ipipgo :

ServicePointManager.ServerCertificateValidationCallback = (s, cert, chain, errors) => true ;

Écueil 2 : Défaillance soudaine du mandataire
Il est recommandé de vérifier l'état de santé du proxy et de le changer immédiatement s'il s'avère indisponible. L'API d'ipipgo permet d'accéder en temps réel à la liste des IP disponibles, ce qui est une fonction très utile.

Questions fréquemment posées

Q : Pourquoi le site est-il toujours bloqué après l'utilisation d'un proxy ?
R : Vérifiez si vous utilisez un proxy transparent, choisissez la réserve de proxies d'ipipgo, l'en-tête de la requête n'exposera pas d'informations sur le proxy !

Q : Le fait de changer d'adresse IP pour chaque demande affecte-t-il la vitesse ?
R : Le temps de réponse d'ipipgo est généralement inférieur à 200 ms, mesuré sur des millions de données collectées, avec leur agent dynamique que sans l'utilisation de l'agent est également plus rapide que 30% (en raison de la réduction du blocage des tentatives).

Q : Les proxys gratuits fonctionnent-ils ?
A : Frère, le gratuit est le plus cher ! Testé précédemment, la disponibilité des agents libres est inférieure à 5%, la disponibilité du paquet d'entreprise d'ipipgo peut être de 99,8%, la clé est d'économiser ah !

Enfin, un mot du cœur : l'histoire des robots d'indexation.sept parties sont basées sur les compétences, trois parties sur l'agenceLa meilleure façon d'utiliser HtmlAgilityPack est de l'utiliser. L'utilisation d'un bon HtmlAgilityPack est la base, l'associer à un service de proxy professionnel comme ipipgo est la voie à suivre. Leur pool de proxy est mis à jour fréquemment, surtout queIP résidentielle dynamiqueLa simulation d'utilisateurs réels pour visiter l'effet du voleur, qui utilise qui sait !