Biblioteca de captura de páginas web C#: Tutorial de HtmlAgilityPack

Combinación de HtmlAgilityPack + Proxy IP Doble Espada

¿Cuál es el mayor quebradero de cabeza de la gente de hierro para hacer rastreo web? Nueve de cada diez veces, ¡la IP está bloqueada! Hoy, vamos a hablar de cómo utilizar HtmlAgilityPack de C.ipipgo Servicio IP Proxypara crear un sistema de rastreo estable como un perro viejo y resistente al bloqueo.

HtmlAgilityPack Primera experiencia

Esta cosa es equivalente a C instalado una página web de análisis sintáctico plug-ins, el uso que las expresiones regulares para ahorrar un montón de problemas. Como ejemplo, desea capturar el precio de un sitio de comercio electrónico:

var web = new HtmlWeb(); var doc = web.
var doc = web.Load("https://目标网站"); var priceNode = doc.
var priceNode = doc.DocumentNode.SelectSingleNode("//span[@class='precio']");
Console.WriteLine(precioNodo.InnerText);

¡Pero la operación de bola tan recta, no fuera de tres días absolutamente ser bloqueado IP!Armadura - ipipgo proxy ip.

La forma correcta de abrir una IP proxy

Para HtmlWeb conjunto de proxy es en realidad muy simple, el enfoque es utilizar una piscina proxy fiable. Tome ipipgo por ejemplo, su API se parece a esto:

var proxy = new WebProxy("gateway.ipipgo.com:8000", true) {
    Credenciales = new NetworkCredential("Su cuenta", "Contraseña")
};

var web = new HtmlWeb();
web.PreRequest = request => {
    request.Proxy = proxy; }; var web = new HtmlWeb()
    request.Proxy = proxy; return true; }; var web = new HtmlWeb()
}; }

Delimitar el foco de atención:Recuerde poner en la lista blanca las IP en el backend de ipipgo.De lo contrario, la autenticación fallará. La prueba real con su agente residencial dinámico, capturado durante 2 semanas seguidas no activó el mecanismo anti-escalada.

Consejos para ajustar los parámetros del agente

He aquí una tabla de referencias cruzadas de parámetros que funciona en persona:

Recuerda poner retrasos aleatorios en el código, no seas puntual como un robot:

var rand = new Random(); // Duerme aleatoriamente durante 1-5 segundos.
Thread.Sleep(rand.Next(1000, 5000)); // Duerme aleatoriamente durante 1-5 segundos.

Guía práctica para evitar el pozo

Bache 1: Notificación de errores de certificado SSL
Recuerde añadir esto cuando utilice el proxy HTTPS de ipipgo:

ServicePointManager.ServerCertificateValidationCallback = (s, cert, chain, errors) => true;

Error 2: Fallo repentino del proxy
Se recomienda hacer una comprobación de la salud del proxy y cambiar inmediatamente si se encuentra que no está disponible. La API de ipipgo soporta el acceso en tiempo real a la lista de IPs disponibles, lo cual es una característica muy útil.

Preguntas frecuentes

P: ¿Por qué sigue bloqueado después de usar un proxy?
R: Compruebe si está utilizando un proxy transparente, elija ipipgo's high stash of proxies, ¡la cabecera de la petición no expondrá la información del proxy!

P: ¿El cambio de IP para cada solicitud afecta a la velocidad?
R: El tiempo de respuesta de ipipgo es básicamente dentro de 200ms, medido millones de recopilación de datos, con su agente dinámico que no utilizar el agente también es más rápido que 30% (debido a la reducción del reintento de bloqueo).

P: ¿Funcionan los proxies gratuitos?
R: ¡Hermano, gratis es lo más caro! ¡Anteriormente probado, la disponibilidad del agente libre es inferior a 5%, la disponibilidad del paquete ipipgo enterprise puede llegar a 99.8%, la clave es ahorrar ah!

Por último, unas palabras desde el corazón: lo del rastreador web.siete partes se basan en la destreza, tres en la agenciaLa mejor manera de usar HtmlAgilityPack es usarlo. Usar un buen HtmlAgilityPack es la base, emparejarlo con un servicio proxy profesional como ipipgo es el camino a seguir. Su pool de proxy se actualiza frecuentemente, especialmente queIP residencial dinámica¡La simulación de los usuarios reales para visitar el efecto del ladrón, que utilizan quién sabe!