Java Web Crawler: Programas de captura automatizada

En primer lugar, ¿por qué su rastreador siempre es arrastrado por el sitio?

Hermanos que han participado en el rastreo web debe haber encontrado esta situación: Ayer, un buen programa, hoy de repente 403 error, o devolver un montón de CAPTCHA. Esta cosa es francamenteTu IP real fue encontrada por el sitio webEn primer lugar, quiero asegurarme de que usted tiene una buena comprensión de lo que está haciendo. Ahora un poco de la escala del sitio se instalan sistema inteligente de control de viento, la misma IP docenas de visitas consecutivas, minutos para que usted apague la pequeña casa negro.

La semana pasada un tipo que hace la comparación de precios de comercio electrónico vino a mí y se quejó de que el programa de recolección que escribieron en Java se estaba ejecutando y luego se rompió. Le pedí que enviara los registros para ver, buen tipo, borrar toda la página de verificación del robot de Amazon. Esta situación no tiene que pensar mucho, sin duda no hizo un buen trabajo de camuflaje IP.

En segundo lugar, la mano para enseñar a utilizar Java con proxy

Aquí para mostrar a los chicos una versión básica de la configuración del proxy, tomar el más común HttpClient:

// Recuerda añadir la dependencia httpclient en pom.xml
CloseableHttpClient httpClient = HttpClients.custom()
    .setProxy(new HttpHost("proxy.ipipgo.com", 9000)) // Usa el servidor proxy de ipipgo aquí.
    .build();
HttpGet request = new HttpGet("https://目标网站.com");
try (CloseableHttpResponse response = httpClient.execute(request)) {
    // Procesa los datos de la respuesta...
}

Observe que en el códigoproxy.ipipgo.comEsta dirección, esto es ipipgo proporcionar proxy dinámico de entrada. Su proxy tiene la ventaja de cambiar automáticamente IPs para cada solicitud, que es mucho más libre de problemas que tirar el grupo de proxy usted mismo.

En tercer lugar, el juego avanzado del proxy IP

No basta con saber lo básico, aquí van unos cuantos consejos prácticos para compartir:

1. Configuración aleatoria de la cabecera de la solicitud

¡No dejes que el sitio vea que eres un robot! Se recomienda cambiar aleatoriamente el User-Agent para cada petición, puede preparar un archivo txt para almacenar docenas de logos de navegador.

2. Estrategia de retraso inteligente

No seas tonto con los intervalos de tiempo fijos, consigue un retardo aleatorio (entre 0,5-3 segundos) para simular el ritmo de la operación de una persona real. Se ha medido que este truco aumenta las tasas de supervivencia en más de 40%.

IV. Autorización de las preguntas más frecuentes de la GC

P: ¿Por qué sigues bloqueado después de usar un proxy?
R: Compruebe tres puntos: ① la calidad de la IP del proxy ② la frecuencia de solicitudes es demasiado alta ③ no hay cookies de procesamiento.

P: ¿Cómo elijo un paquete para ipipgo?
R: Para promotores individualesVersión básica 500IP/díaSuficiente, negocio de nivel empresarial directamentegrupo exclusivo de IPLa necesidad de un elevado anonimato en la selección deEdición personalizada para empresas

P: ¿Qué debo hacer si se agota el tiempo de espera de la solicitud de proxy?
R: Primero ajuste el tiempo de espera a 15 segundos, si continua apareciendo, recomendamos contactar con el servicio de atención al cliente de ipipgo para cambiar el nodo de acceso.

V. Pautas para evitar las fosas (lecciones aprendidas con sangre y lágrimas)

El año pasado, me metí en un gran pozo cuando ayudé a mi amigo a hacer el sistema de seguimiento de entradas: en aquel momento utilicé un proxy gratuito para conseguir un precio más barato, pero la cadena se cayó en el momento crítico. Más tarde, cambié a ipipgo'sAgentes comercialesNo sólo la tasa de éxito se mantiene estable en más de 98%, sino que además hay una ventaja inesperada: se ha descubierto que sus segmentos IP pueden eludir restricciones geográficas específicas en determinados sitios web (esto cuenta como ventaja oculta).

Un último consejo: ¡no ahorres dinero en IPs proxy! Un buen servicio de proxy puede hacer que se te caiga menos el pelo, y el tiempo que te ahorras en escribir unos cuantos crawlers más no huele bien? Los hermanos que necesiten hacer pruebas pueden ir a la web oficial de ipipgo para conseguir elPack de prueba gratuitoLos recién llegados también obtienen 50 llamadas a la API por inscribirse, que está probada y es válida.