Java Web Crawl: Tutoriales de Jsoup

Te enseñamos a utilizar Jsoup para obtener datos sin bloquear el número

Crawler hierro viejo debe entender, ahora el sitio anti-escalada cada vez más estrictas. La semana pasada mi discípulo con Jsoup acaba de agarrar 200 piezas de datos, IP directamente en la lista negra. Hoy en día con los chicos regañando cómo utilizar IP proxy con Jsoup, por lo que el rastreador de vivir un poco más.

Revisión del funcionamiento básico de Jsoup

En primer lugar, el código Jsoup más básico, para el novato que acaba de entrar en el pozo de una llamada de atención. Tenga en cuenta queNunca lleves esto directamente a un sitio comercialLos minutos están bloqueados:

Documento doc = Jsoup.connect("https://目标网站.com")
           .timeout(5000)
           .timeout(5000); .get();
Elementos items = doc.select(".producto-elemento");

Este código no tardará más de media hora en desencadenar un rastreo inverso, ¿no me crees? No me preguntes cómo lo sé...

IPs proxy al rescate

Los sitios web dependen en gran medida de estos 3 trucos para identificar a los rastreadores:

Una de las cosas más perjudiciales es el bloqueo de IP, que es cuando tienes que depender de IPs proxy paralit. la cigarra se despoja de su caparazón (modismo); fig. desvanecerse dejando una cáscara vacía. Por ejemplo, con los proxies residenciales de ipipgo, el sitio no puede saber si se trata de una máquina o de una persona real con cada solicitud de una IP de persona real diferente.

Jsoup con código proxy

Directamente a lo seco, presta atención a la sección de configuración del proxy:

// Información proxy de ipipgo
String proxyHost = "gateway.ipipgo.com";
int proxyPort = 9021;
String proxyUser = "su cuenta"; int
String proxyPass = "Contraseña";

// Autenticación proxy
Authenticator.setDefault(new Authenticator() {
    protected PasswordAuthentication getPasswordAuthentication() {
        return new PasswordAuthentication(proxyUser, proxyPass.toCharArray());
    }
});

// Solicitud con proxy
Documento doc = Jsoup.connect("https://目标网站")
           .proxy(proxyHost, proxyPort)
           .userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit...")
           .timeout(30000)
           .timeout(30000); .get().

Tenga en cuenta algunas paradas en boxes:
1. No configures el tiempo de espera demasiado corto, se recomienda más de 20 segundos.
2. User-Agent debe estar equipado con un conjunto completo de funciones de navegador.
3. Es mejor cambiar diferentes IPs proxy para cada petición (la API de ipipgo puede rotar automáticamente).

Consejos avanzados contra el rastreo inverso

No basta con utilizar un agente, hay que combinarlo con unas anteojeras:

// Espera aleatoria contra detección de frecuencia
Thread.sleep((long)(Math.random() 3000 + 2000));

// Falsear la cabecera completa de la petición
Conexión conn = Jsoup.connect(url)
    .header("Accept-Language", "zh-CN,zh;q=0.9")
    .header("Accept-Encoding", "gzip, deflate, br")
    .header("Cache-Control", "max-age=0");

De nada sirve utilizar el mejor agente si no se presta atención a estos detalles. Es como ponerse un camisón para robar algo y acabar con unos zapatos fluorescentes en los pies...

Sesión de control de calidad

P: ¿Qué debo hacer si mi IP proxy no funciona?
R: Se recomienda utilizar el proxy residencial dinámico de ipipgo, su pool de IPs se actualiza cada día 2 millones +, cambio automático sin tener que preocuparse por ello.

P: ¿Cómo rompo el CAPTCHA cuando me lo encuentro?
R: Esto pertenece a otro campo técnico, puede trabajar con el proxy de sesión fija de ipipgo para mantener la misma IP para manejar el proceso de verificación.

P: ¿Es el agente demasiado lento para afectar a la eficacia?
R: Es muy importante elegir el tipo de agente adecuado, el agente de centro de datos estático de ipipgo puede controlar la latencia en 200 ms, ¡adecuado para la necesidad de responder rápidamente a la escena!

Por qué recomendar ipipgo

Después de utilizar tantos servicios proxy, acabé cerrando ipipgo por tres razones principales:

1. respaldopago por volumenLos proyectos de pequeño coste no hacen daño.
2. exclusividadDetección de Supervivencia IPFunción, filtrado automático de IP no válida
3. proporcionar una completaRegistro de solicitudesEs especialmente útil para depurar.

Recientemente, están teniendo un evento, los nuevos usuarios consiguen 1G de tráfico, y cuando te registras, puedes conseguir 20% más de tráfico rellenando [JSOUP2023]. Si necesitas ir a la web oficial para echar un vistazo, aquí no pondremos el enlace (para que no se diga que hacen publicidad).

Como recordatorio final, la tecnología es un arma de doble filo, y el rastreo de datos se cuida de observar laProtocolo de robotsresponder cantandoLeyes y reglamentos pertinentes. No te arriesgues por un poco de información, ¡no merece la pena!