Java web crawler: Jsoup analiza tutoriales HTML

Enseñanza práctica del uso de Jsoup para realizar rastreos web

Sensei es participar en la recopilación de datos o hacer análisis de la competencia, utilizando Java para jerk un capturador de páginas web es sólo necesario. Hoy en día, vamos a tomar Jsoup este artefacto que decir, centrándose en enseñar a la gente cómo utilizar IP proxy para evitar ser tirado por el sitio negro. Nuestros casos prácticos con el servicio de proxy ipipgo casa, la piscina IP dinámica es realmente estable.

Configuración básica de Jsoup

En primer lugar, tenemos que entender cómo poner un proxy en Jsoup. La clave es rellenar los parámetros del proxy en el objeto Connection, el código tiene este aspecto:

Documento doc = Jsoup.connect("URL de destino")
               .proxy("proxy.ipipgo.io", 9020)
               .userAgent("Mozilla/5.0...")
               .timeout(30000)
               .timeout(30000); .get()

Tenga en cuenta que el método proxy se rellena con la dirección de la puerta de enlace y el puerto proporcionados por ipipgo.No estoy seguro si eres un nuevo usuario, pero creo que obtendrás un paquete de tráfico gratuito de 20M, que es suficiente para la fase de pruebas. Si tienes problemas con el certificado SSL, recuerda configurar el certificado en connection.sslSocketFactory().

Consejos prácticos sobre IP proxy

El mayor temor de la recolección es que tu IP sea bloqueada. Esta vez tenemos que usar proxy IP pool para rotar. Usemos el modo de asignación aleatoria de ipipgo, el código se escribe así:

String[] proxyPool = {"s1.ipipgo.io:9010", "s2.ipipgo.io:9012"...} ;
Random rand = new Random() ;
Conexión conn = Jsoup.connect(url)
                    .proxy(proxyPool[rand.nextInt(proxyPool.length)]); ;

La latencia del proxy residencial de ipipgo está básicamente controlada dentro de los 200ms, lo que es mucho más fiable que esos proxies. Si colecciona sitios web de comercio electrónico, recuerde configurar3-5 segundos entre solicitudesEs demasiado frecuente que los dioses no puedan salvarte.

Guía para evitar caer en los baches más comunes

Los novatos suelen plantar en estas zonas:

1. No se establece ningún User-Agent y se reconoce como un crawler.
2. Las solicitudes sucesivas desde la misma IP se incluyen en la lista negra
3. Datos cargados dinámicamente no capturados

Con ipipgo.IP estática de larga duraciónJunto con Selenium puedes ocuparte de la carga dinámica, colgando un proxy al iniciar el navegador:

System.setProperty("webdriver.chrome.proxy", "http://user:pass@s1.ipipgo.io:9010");

Sesión de control de calidad

P: ¿Qué debo hacer si mi IP proxy falla de repente?
R: compruebe rápidamente el saldo del paquete backstage de ipipgo, su paquete familiar cambiará automáticamente al canal alternativo cuando se agote, si no funciona, póngase en contacto con el servicio de atención al cliente para cambiar la clave de autorización.

P: ¿Cuál es la diferencia entre un poder gratuito y un poder de pago?
R: Compare la versión de experiencia de ipipgo con la versión comercial, la versión comercial tiene 3 veces más tiempo de supervivencia de IP, y hay una interfaz exclusiva de extracción de API, por lo que no habrá vergüenza de no poder extraer la IP.

P: ¿Cómo puedo comprobar si la IP de un proxy es anónima?
R: Visita http://httpbin.org/ip, si devuelve una IP real significa que el proxy no funciona. Usando el proxy high stash de ipipgo nunca se filtrará la información local.

Consejos para optimizar el rendimiento

Si quieres recoger rápido, tienes que jugar con multi-threading. Se recomienda utilizar la gestión de la piscina de hilo, cada hilo con una IP proxy independiente. aquí es un consejo: la interfaz API de ipipgo para volver a la lista de IP almacenada en la cola de bloqueo, el hilo a medida que lo utiliza.

ExecutorService pool = Executors.newFixedThreadPool(10);
while(!urlQueue.isEmpty()){
   pool.execute(()->{
      String proxy = ipQueue.take();
      // Lógica de captura
   });
}

Recuerde ajustarconnection.timeout(15000)Si no obtienes respuesta en más de 15 segundos, date por vencido y pasa a la siguiente IP.

Por último, el uso de SDK personalizado de ipipgo puede ahorrar un montón de cosas, han encapsulado la sustitución automática de IP y mecanismo de reintento anormal. Especialmente cuando se hace la recolección a gran escala, más fiable que la construcción de sus propias ruedas, después de todo, las cosas profesionales todavía tienen que ser un profesional para hacer.