Java Web Crawler: Guía práctica de la colección Jsoup

En primer lugar, por qué rastreadores con IP proxy, este asunto debe ser claramente explicado

Participó en la recopilación de datos del viejo hierro saber, el sitio es ahora como un ladrón mirando el rastreador. La semana pasada tomé la intranet de la empresa para probar mi mano, no colgar el proxy directamente rastreo abierto, los resultados de 5 minutos para ser bloqueado IP, incluso arrastró todo el departamento desconectado durante media hora, y casi fue invitado a tomar el té por el liderazgo.

en este momentoIP proxyEs tu capa de invisibilidad. Es como si vas al supermercado a probar la comida, y siempre utilizas un mismo plato para coger la comida (IP fija), el camarero te parará seguro. Si cambias de plato cada vez (IP proxy), la gente no te reconocerá. Nuestro grupo de proxy ipipgo es grande, el país cuenta con 5 millones + IP dinámica residencial, cambiar IP que cambiar calcetines más diligente.

En segundo lugar, Jsoup con la postura correcta del proxy

Muchos tutoriales enseñan a la gente a usar System.setProperty para configurar un proxy, ¡ese es el hermano pequeño para jugar! Lo realmente fiable es usar el objeto Connection para enganchar el proxy directamente. Mira este código:

// Ten en cuenta que aquí tienes que importar el SDK de ipipgo.
import com.ipipgo.proxy;.
...
Documento doc = Jsoup.connect("URL de destino")
    .proxy(ipipgo.getProxy()) // ¡La clave está en esta línea! Obtener el proxy dinámicamente
    .timeout(30000)
    .userAgent("Mozilla/5.0 (Windows NT 10.0) navegador decente")
    .get();

Resáltalo tres veces:No utilice agentes gratuitos. No utilices proxies gratuitos. No utilice apoderados gratuitos.Antes de que el uso barato de la faisán proxy, el resultado de subir a los datos son todos los anuncios, el partido casi me demandó. línea proxy exclusiva de ipipgo tiene un mantenimiento dedicado, la velocidad de respuesta puede ser presionado en 200ms o menos.

En tercer lugar, la batalla real en la operación de pacotilla

Cuando te encuentres con un sitio difícil de rastrear, te enseñaré un truco:IP+UA+Cookie Rotación de 3 piezas. He aquí un caso real:

La última vez que rastreé un sitio de comercio electrónico en busca de datos sobre precios, utilicé la herramienta de ipipgoEnrutamiento inteligentefunción, automáticamente coincide con la IP de la ubicación del servidor de destino, la velocidad de obtención se duplica directamente. Aquí es un pozo a tener en cuenta: no escriba una dirección de proxy muerto en el código, para utilizar su API para obtener de forma dinámica, de modo que la IP cambiará automáticamente cuando falla.

IV. Control de calidad común de los centros de reinversión

P: ¿Qué debo hacer si el agente deja de conectarse de repente?
R: primero llame a ipipgo ping interface detection, si el código de retorno = 502, cambie inmediatamente la línea alternativa. Su consola tiene monitorización en tiempo real, lo que es más fiable que escribir tu propio mecanismo de reintento.

P: ¿Qué debo hacer si me encuentro con un bombardeo de CAPTCHA?
R: ¡No te resistas! Reduzca la frecuencia de petición a 1 petición/5 segundos mientras enciende ipipgo'smodo ocultaciónEl método de rastreo no es una buena idea. Pro-probado eficaz, la semana pasada con este método para rastrear 100.000 datos no desencadenó la verificación.

P: ¿Cómo puedo saber si el poder está realmente en vigor?
R: Añade una salida de registro al código:

System.out.println("Actualmente usando proxy: " + ipipgo.getCurrentProxy());

V. Di algo sincero

He utilizado siete u ocho servicios de agencia, y finalmente he utilizado ipipgo durante mucho tiempo por tres razones: una es que su casaEs tan sensible.La segunda es que el grupo de IP es lo suficientemente grande como para que la recopilación de datos nacionales pueda ser precisa a nivel de distrito y condado; la tercera es que la facturación es flexible, como nuestro pequeño equipo con el paquete de volumen, un mes es sólo un centenar de dólares más o menos.

Un último recordatorio para los novatos:No ahorres dinero en agentes.El costo de manejar los datos sucios no es suficiente para que usted ahorre la cuota de agente. La última vez que vi a un anciano con un agente libre para subir los datos, los resultados en la biblioteca encontraron que 30% son código desordenado, llorar demasiado tarde.