C# Web Crawling: Proxy IP para .

¿Tan difícil es rastrear datos hoy en día? Prueba este truco de IP proxy

Hermanos que participan en rastreadores web entender que ahora el sitio anti-escalada más y más despiadado. Ayer se puede ejecutar el programa, hoy será bloqueado IP. Esta vez tenemos que salir de nuestro salvador - proxy IP, especialmente con C a participar en el desarrollo de un buen proxy IP puede hacer que su rastreador de vivir más tiempo.

¿Qué pasa con las IP proxy?

En pocas palabras.ir en línea con un chaleco. Cambia tu dirección IP cada vez que solicites algo para que el sitio piense que te visita una persona diferente. Es como si vas al supermercado a comprar cigarrillos y te cambias de ropa todos los días, la cajera no te reconocerá como la misma persona.

Existen dos tipos comunes de agentes en el mercado:

Configuración práctica del proxy C

Usemos el servicio proxy de ipipgo como demostración. Su proxy tiene una ventaja, no necesitas cambiar manualmente la IP cada vez, el sistema cambiará automáticamente.

// Ejemplo con HttpClient
var handler = new HttpClientHandler
var handler = new HttpClientHandler
    Proxy = new WebProxy("gateway.ipipgo.com:8000"), var var handler = new HttpClientHandler {
    UseProxy = true
};

var client = new HttpClient(handler); // Recuerda añadir el tiempo de espera.
// Recuerda añadir el ajuste de tiempo de espera, ¡no esperes a que muera!
client.Timeout = TimeSpan.FromSeconds(15); var client = new HttpClient(handler); // Acuérdate de añadir un tiempo de espera.

Sería más fácil utilizar WebClient:

WebClient wc = nuevo WebClient();
wc.Proxy = nuevo WebProxy("http://username:password@gateway.ipipgo.com:8000");

Algunos trucos para evitar el bloqueo

1. No tires de la lana sobre una oveja.No visite la misma página con demasiada frecuencia desde la misma IP.
2. Tiempo de descanso aleatorio: añade un Thread.Sleep(número aleatorio de segundos) entre peticiones.
3. Disfrazar el encabezado del navegador: seleccione aleatoriamente el User-Agent cada vez.

Preguntas y respuestas frecuentes

P: ¿Qué debo hacer si el agente falla de repente?
¡R: Esta situación es el ochenta por ciento de la IP está bloqueada, se recomienda utilizar la piscina IP dinámica de ipipgo, cambian automáticamente la IP no tiene que preocuparse!

P: ¿Qué debo hacer si mi agente es lento?
R: Elija un nodo cercano a la ubicación geográfica, como escalar sitios nacionales con el nodo de China Oriental de ipipgo.

P: ¿Tengo que mantener mi propio grupo de IP?
R: No es necesario en absoluto, la API de ipipgo puede obtener las IPs disponibles en tiempo real, lo cual es mucho menos problemático que lanzarlas por ti mismo.

¿Por qué ipipgo?

Tras haber probado varios servicios proxy, ipipgo tiene dos obras maestras:
1. Sala de servidores doméstica autoconstruida, la latencia puede suprimirse a menos de 50 ms.
2. Sistema de enrutamiento inteligente, que evita automáticamente los segmentos IP bloqueados
3. Proporcionar un SDK en C listo para usar, con una integración de tan sólo tres líneas de código.

Por último, me gustaría recordarte que el uso de un proxy no es una tarjeta que te libere de la cárcel. La clave está en controlar la frecuencia de las peticiones y hacer un buen trabajo de gestión de las excepciones. Si te encuentras con el código de error 429, debes parar y no pelearte con el sitio web. Recuerde, ¡el rastreador que vive mucho tiempo es un buen rastreador!