C# Explicación HTML: Tutoriales de la biblioteca AngleSharp

¿Qué es la biblioteca AngleSharp? ¿Por qué la necesito para el análisis sintáctico de HTML?

Hacemos la recopilación de datos hermano debe haber encontrado este tipo de mierda: la estructura de la página del sitio de destino es tan complejo como una tela de araña, los datos de recogida manual puede estar cansado de la tendinitis. En este momento tenemos que confiar en AngleSharp esta herramienta mágica, puede ser como un toro como el documento HTML dividido en claro. Que la expresión regular tradicional para ahorrar diez veces, especialmente cuando se trata de etiquetas anidadas, que se llama un suave como la seda.

Para dar una castaña, desea capturar los datos de precios de una plataforma de comercio electrónico, utilizando los métodos tradicionales pueden tener que escribir decenas de líneas de juicio circular. Pero con AngleSharp tan sólo tres líneas de código será capaz de bloquear el elemento de destino. Más absoluta es que es compatible con la última sintaxis del selector CSS, las personas que lo han utilizado dijo que como la apertura de la Sharpshooter.

// Como un fragmento de código para un escenario real
var config = Configuration.Default.WithDefaultLoader();
var context = BrowsingContext.New(config); var document = await context.OpenAsync("URL de destino"); var context = BrowsingContext.
var document = await context.OpenAsync("URL de destino"); var priceNodes = document.
var priceNodes = document.QuerySelectorAll("div.price-box span.final-price");

¿Cómo se mezclan las IP proxy y AngleSharp?

¡El punto es! Muchos sitios web tienen mecanismo anti-escalada, directa dura sólo unos minutos para bloquear su IP, esta vez tenemos que dejar que ipipgo servicio de proxy IP en el show. Podemos cambiar como un chaleco, cada solicitud de una dirección IP diferente, por lo que el sitio de destino para pensar que es un usuario diferente para visitar.

He aquí una operación de mal gusto: inyectar la configuración del proxy directamente en el flujo de peticiones de AngleSharp. Utilice la API proporcionada por ipipgo para obtener una IP de proxy fresco, y luego configurarlo en el HttpClient. De esta manera, cada solicitud irá automáticamente a través del canal de proxy, que es mucho más estable que ir por su cuenta.

// Acceso al código del proxy ipipgo en la práctica
var handler = new HttpClientHandler
{
    Proxy = new WebProxy("http://user:pass@ipipgo-proxy-server:puerto")
};

var httpClient = new HttpClient(handler); var requester = new HttpClientRequester(handler)
var requester = new HttpClientRequester(httpClient); var config = Configuration.
var config = Configuration.Default.WithRequester(requester); var config = Configuration.

Tres consejos para evitar el bloqueo

El primer estilo: método de rotación IP A través de la API de ipipgo para obtener un nuevo pool de IPs a intervalos regulares, se recomienda cambiar un lote de IPs cada 50 peticiones, como jugar a la gallina para cambiar de equipo tan diligentemente como

Estilo 2: Solicitud de control rítmico No envíes peticiones salvajes como un muerto de hambre, da retrasos aleatorios. Sugiere un intervalo base de 1,3 segundos, con un número aleatorio de 0-3 segundos apilado encima para que el patrón de acceso se parezca más al de la gente real.

Estilo 3: Disfraz de cabecera User-Agent se genera aleatoriamente para cada solicitud, puede utilizar la biblioteca de huellas de navegador proporcionada por ipipgo para disfrazar el encabezado de la solicitud como varios navegadores

Control de calidad práctico: dificultades que puede haber encontrado

Q：¿Por qué los datos analizados son siempre erróneos?
R: El 80% de la página no se carga al inicio del parse, recuerde usar await document.OpenAsync () para asegurarse de que la carga se completa. Si usas páginas cargadas dinámicamente, necesitas usar la extensión Scripting de AngleSharp.

P: ¿Qué debo hacer si mi IP proxy falla de repente?
R: En este caso, se recomienda utilizar el modo de cambio inteligente de ipipgo, su API eliminará automáticamente los nodos fallidos. Recuerda añadir try-catch en el código para activar el proceso de reemplazo de IP si te encuentras con una excepción de conexión.

P: ¿Cómo mejorar la velocidad de resolución?
R: Tres grandes consejos: 1) Procesamiento paralelo con Parallel.ForEach 2) Precompilar selectores CSS 3) Utilizar las líneas exclusivas de alta velocidad de ipipgo, que son más del doble de rápidas que las pools compartidas.

Formulario de optimización del rendimiento

Por último, me gustaría decir que la recopilación de datos es como la guerra de guerrillas, y hay que ser técnicamente sólido y tener las herramientas a su disposición. AngleSharp + ipipgo combinación, básicamente puede barrer las necesidades de recogida 90%. Recuerde que debe cumplir con las reglas del sitio, sólo hacemos análisis de datos serios, no toda esa operación tarta.