C# Web Crawler: Herramienta de rastreo C#

No dejes que el bloqueo de IP destruya tu trabajo como rastreador.

Recientemente, muchos hermanos que participan en los hermanos de captura de datos y me quejé, el trabajo duro para escribir el rastreador no corrió dos días se bloqueará IP. esta cosa que sé demasiado, el año pasado para hacer el seguimiento de precios de comercio electrónico, durante tres días consecutivos por el sitio de destino para tirar el negro, tan enojado que casi me rompió el teclado. Más tarde se encontró que el uso de proxy IP esmedida desesperada para salvar la vidaHoy aprovechamos la experiencia de desarrollo en C para darte algunos consejos.

Juego de dos piezas Crawler Essentials

Lo primero que tienes que hacer es elegir un arma que puedas usar, y te recomendamos los dos viejos:

// Usa esto para manejar peticiones HTTP
Http; using System.Net.
Http; // Parseo de HTML.
using HtmlAgilityPack.

Estos dos con el trabajo de la eficiencia absoluta, especialmente HtmlAgilityPack XPath análisis sintáctico, que las expresiones regulares para ahorrar diez veces. Sin embargo, no basta con tener las herramientas, usted tiene que aprender atácticas de camuflaje.

Tres escenarios vitales para la IP proxy

La semana pasada para ayudar a los amigos a hacer la captura del sitio de trabajo, con el agente residencial dinámico de ipipgo, cambio automático de IP cada hora, difícil de capturar la eficiencia de 3 veces todavía no bloqueado.

Práctico: HttpClient para llevar una capa de invisibilidad

Directamente al código seco para ver cómo cargar el proxy de ipipgo en el crawler:

var handler = new HttpClientHandler
var handler = nuevo HttpClientHandler {
    Proxy = new WebProxy("gateway.ipipgo.com:8000"),
    UseProxy = true
};

var client = new HttpClient(handler);
var client = new HttpClient(handler); client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0)");

// Es más seguro establecer un tiempo de espera
var response = await client.GetAsync("https://目标网站.com",
    new CancellationTokenSource(TimeSpan.FromSeconds(15)).

Tenga cuidado de ponerconsola ipipgoLa contraseña de la cuenta que aplicó en WebProxy, se recomienda utilizar su API para obtener la dirección del proxy de forma dinámica, de modo que el grupo de IP se puede actualizar automáticamente.

Caso real: Sistema de control de precios en el comercio electrónico

El año pasado, un sistema de comparación de precios para una cadena de supermercados se topó con tres baches en el camino:

1. Cada rastreo se reconoce como un rastreador
2. Cambiar manualmente de servidor cuando la IP está bloqueada
3. Diferentes precios para diferentes zonas

Programa final:
1. Con ipipgoAgencia Residencial High Stash
2. Cambio automático de IP cada 50 solicitudes
3. Coordinarse con los distintos nodos de la ciudad para la recogida
Como resultado, el volumen medio diario de rastreo pasó de 50.000 a 800.000, y el responsable de O&M ya no tuvo que levantarse en mitad de la noche para cambiar de servidor.

Directrices sobre desminado de problemas comunes

P: ¿Qué puedo hacer si la IP del proxy es demasiado lenta?
R: Ir con ipipgo'sPaquetes exclusivos de ancho de bandaLa velocidad de descarga es de hasta 3 MB/s, superior a la del proxy compartido.

P: ¿Cómo cambiar la IP del proxy automáticamente?
R: Añade un temporizador en el código y llama a la API de ipipgo para obtener la nueva dirección. Su formato de retorno de interfaz ladrón simple, directo JSON análisis sintáctico en la línea.

P: ¿Qué debo hacer si encuentro un error de certificado SSL?
R: Añade esto al HttpClientHandler:
ServerCertificateCustomValidationCallback = (msg, cert, chain, errors) => true
Sin embargo, tenga en cuenta los riesgos de seguridad y es mejor usarlo con el proxy HTTPS de ipipgo.

Cinco principios de los consejos antibloqueo

• No solicitar con demasiada regularidad (hibernación aleatoria 0,5-3 segundos)
• Los usuarios-agentes tienen algunos más en rotación.
• Para proyectos importantesProxy estático de larga duración para ipipgo
• Gestión oportuna de las cookies anti rastreo del sitio web
• Reducción de la frecuencia de recogida por la noche

Por último, me gustaría decir unas palabras, no ahorres dinero en agentes para rastreadores. Antes usaba proxies gratuitos, y 8 de cada 10 no funcionaban, y siempre perdían datos. Desde la versión enterprise de ipipgo, un millón de peticiones al día tan estable como el perro viejo, ¡realmente fragante!