C# Web Crawl: Tutoriales de la biblioteca HttpClient

Cuando el crawler se encuentra con el anti-escalada: HttpClient cómo utilizar IP proxy para romper las restricciones

Participar en el rastreo web es el más dolor de cabeza IP está bloqueado, especialmente con los hermanos de recopilación de datos C debe tener una comprensión profunda. No vamos a todo los falsos, directamente en los productos secos para enseñarle cómo utilizar HttpClient con proxy IP, centrándose en cómo utilizar el servicio ipipgo para salvar la vida.

Operaciones básicas de HttpClient

Primero de todo, entiende como usar HttpClient para enviar peticiones, esta cosa puede ser mejor que WebClient. Recuerda establecer un tiempo de espera al inicializar, no dejes que el programa se atasque:

var handler = new HttpClientHandler();
var client = new HttpClient(handler){
    Tiempo de espera = TimeSpan.FromSeconds(15)
};

Para enviar una petición GET para jugar como esta, recuerda añadir User-Agent para disfrazar el navegador:

client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0) ...") ;)

Tres consejos para salvarte la vida con las IP proxy

Cuando el403 Prohibidoo429 Demasiadas solicitudesSi tienes una IP proxy, es hora de cambiarla. Configurarla con el servicio de ipipgo es extraordinariamente fácil:

Técnicas prácticas antibloqueo

1. El grupo de IP tiene que ser lo suficientemente grande: Utiliza la API de ipipgo para obtener nuevas IPs de forma regular, se recomienda cambiar a un proxy diferente para cada petición.
2. No sea demasiado regular en sus intervalos de solicitud: establece segundos de espera aleatorios con Random.Next(3,8)
3. No conmutación automática: Sustituya inmediatamente el agente cuando se encuentre un código de estado anormal.

try{
    var response = await client.GetAsync(url);
}
catch{
    // Llama a la API de ipipgo para cambiar IPs
    SwapProxy(handler);
}

Preguntas frecuentes QA

P: ¿Qué debo hacer si la IP proxy no funciona después de utilizarla?
R: Esta situación es el ochenta por ciento de la IP está marcada por el sitio de destino, con ipipgo piscina IP dinámica se actualizará automáticamente, recuerde establecer el mecanismo de reintento de fallo en el código.

Q：¿El rastreo de sitios web HTTPS siempre informa de error de certificado?
R: Añada esta configuración al HttpClientHandler:
handler.ServerCertificateCustomValidationCallback = (msg, cert, chain, err) => true;

P: ¿Cómo juzgar si la IP por poderes es eficaz?
R: Visitando la dirección http://ip.ipipgo.com/checkip se obtiene la dirección IP del proxy actualmente en uso.

Demostración de un caso real

Hace poco, un hermano hizo un seguimiento de los precios del comercio electrónico y utilizó la solución que le di:
1. Cada solicitud seleccionó aleatoriamente la IP de la sala del servidor doméstico de ipipgo
2. Dormir 2 minutos por cada 50 solicitudes completadas
3. Cambiar automáticamente los nodos de ciudad al encontrar CAPTCHA
Como resultado, funcionó durante 7 días consecutivos sin bloquearse, y la tasa de éxito en la recogida se disparó de 37% a 92%.

Por último, me gustaría recordarte que debes buscar calidad a la hora de elegir un servicio proxy. Soporte como ipipgopago por volumenyTasa de supervivencia IP igual o superior a 95%El proveedor de servicios, es de hecho más preocupante de usar que para construir su propia piscina de proxy. No espere hasta que la IP se bloquea en un colador antes de acordarse de añadir un proxy, y luego los datos durante mucho tiempo se habrá recogido colapso.