C# Análisis sintáctico de HTML: Tutoriales de la biblioteca AngleSharp

¿Cómo funciona realmente la biblioteca AngleSharp? Captura práctica de páginas web con C

Los hermanos que han participado en el rastreo web saben que IP bloqueado es una ocurrencia común. En este momento tenemos que ofrecer nuestro mejor -IP proxyLo primero que haremos hoy es usar el servicio proxy de ipipgo con la librería AngleSharp de C. Hoy tomamos ipipgo servicio proxy de casa, con la biblioteca AngleSharp de C, enseñarle cómo jugar en el código de análisis sintáctico de HTML.

No sea perezoso en la preparación medioambiental

Empieza por instalar un paquete NuGet, abre el gestor de paquetes de VS y golpea esto:

Paquete de instalación de AngleSharp
Install-Package AngleSharp.

Pieza de configuración del proxy en la que centrarse, utilice el proxy HTTP proporcionado por ipipgo, recuerde que su formato esip:puerto:cuenta:contraseña. Dame una castaña:

var config = Configuración.
    .WithRequesters()
    WithDefaultLoader(new LoaderOptions
    WithDefaultLoader(new LoaderOptions) {
        IsResourceLoadingEnabled = true,
        Filtro = request =>
        {
            request.Headers["User-Agent"] = "Mozilla/5.0";
            request.Headers["User-Agent"] = "Mozilla/5.0"; return true;
        }
    })
    .WithProxy(new ProxyOptions
    {
        new Uri("http://ipipgo-proxy.com:8000"),
        Credentials = new NetworkCredential("Su cuenta", "Contraseña")
    });

Análisis básico de los tres ejes

Suponiendo que quiera capturar los precios de un sitio web de comercio electrónico, mire primero este código:

var context = BrowsingContext.New(config); var document = await context.OpenAsync("URL de destino"); var context = BrowsingContext.
var document = await context.OpenAsync("URL de destino");

var priceNodes = document.QuerySelectorAll(".clasePrecio"); var priceNodes = document.
foreach (var node in priceNodes)
{
    Console.WriteLine(node.TextContent.Trim()); }
}

tenga en cuentaQuerySelectorAllEsta herramienta mágica, con selector CSS con juego como. Cuando te encuentres con páginas que se cargan dinámicamente, recuerda emparejarlo con elagente de rotaciónfunción, cada solicitud de una IP de salida diferente.

Guía práctica para evitar el pozo

Aquí para compartir un caso real: un cliente con una sola IP para capturar datos, 10 minutos para ser bloqueado. Más tarde cambió a utilizar ipipgoPool de agentes inteligentesconfigurado como tal:

var proxyList = new Lista
{
    "ip1:puerto:usuario:pass",
    "ip2:port:user:pass",
    //... Obtener la última lista de proxy desde el backend de ipipgo.
};

var randomProxy = proxyList[new Random().Next(proxyList.Count)];;

El punto clave es queSelección aleatoria de agentesLa tasa de éxito se completa directamente cuando se combina con el mecanismo de reintento automático de AngleSharp.

Preguntas frecuentes sobre el desminado

P: ¿Qué debo hacer si no puedo conectarme al agente?
R: Primero compruebe si el paquete es válido en el backend de ipipgo, pruebe suHerramientas de prueba de conectividad. Recuerda establecer el tiempo de espera en el código:

var requester = new HttpRequester();
requester.Timeout = TimeSpan.FromSeconds(15);

Q：¿No se pueden capturar elementos de página?
R: El 80% es el selector escrito mal, utilice las herramientas de desarrollo del navegador para confirmar la ruta del elemento. ipipgo'sAgentes High StashPuede evitar ser reconocido como rastreador por los sitios web.

P: ¿Necesita manejar el renderizado de JavaScript?
R: AngleSharp por si mismo no soporta JS, esta vez tienes que PuppeteerSharp, pero recuerda configurar ipipgo proxy en headless browser:

var options = new LaunchOptions
{
    Args = new[] { $"--proxy-server=http://{randomProxy}" }
};

¿Por qué ipipgo?

Comparación real de los tres proveedores, ipipgo gana en tres áreas:

Especialmente suPool de agentes a nivel comercialSoporta el lanzamiento de más de 500 conexiones al mismo tiempo sin retrasos y es adecuado para proyectos de rastreo de nivel empresarial.

Una última advertencia sobre el rastreo webética profesionalSe puede controlar la frecuencia de las peticiones. Controla la frecuencia de las peticiones, no cuelgues los servidores de la gente. Utiliza ipipgo.Limitador de velocidad inteligenteAjusta automáticamente el intervalo de solicitud, lo que resulta eficaz y seguro.