Java Web Crawl: Tutorial de Jsoup Parsing HTML

¿Los rastreadores están bloqueados por la dirección IP del sitio?

Hace poco, ayudé a un amigo a capturar los datos de precios de una plataforma de comercio electrónico, y el resultado fue que sólo se bloquearon 300 IP. Hoy en día, si eres un crawler y no sabes cómo utilizar una IP proxy, es como correr desnudo al campo de batalla. Hoy vamos a fastidiar cómo usar la librería Jsoup de Java para capturar los datos, nos centraremos en cómo usar elServicios proxy para ipipgoMantener la paz.

Jsoup funcionamiento básico tres piezas

Calentemos motores con el código más básico:

// ¡Recuerda importar el paquete primero!
import org.jsoup.
import org.jsoup.nodes.

public class RastreadorBásico {
    public static void main(String[] args) throws Exception {
        Documento doc = Jsoup.connect("https://目标网站.com")
                          .timeout(5000)
                          .timeout(5000); .get();
        System.out.println(doc.title());
    }
}

El problema con este código es como una garrapata en la cabeza: es obvio. Si expones tu IP real directamente, serás bloqueado en menos de media hora. Entonces es el momento deIP proxy para ipipgoEn el campo.

La forma correcta de abrir una IP proxy

Añadir proxies a tu código es en realidad más fácil que cocinar fideos instantáneos, todo es cuestión de usar la postura correcta. Mira esto:

// ¡Vea aquí lo más destacado!
public class ProxyDemo {
    public static void main(String[] args) {
        // Información proxy de ipipgo
        String proxyHost = "gateway.ipipgo.com";
        int proxyPort = 9021;
        String username = "Su número de cuenta"; int
        String password = "Su contraseña";

        try {
            Documento doc = Jsoup.connect("https://目标网站.com")
                              .proxy(proxyHost, proxyPort)
                              .timeout(10000)
                              .header("Proxy-Autorización", "Basic " +
                                  Base64.getEncoder().encodeToString(
                                      (nombredeusuario+": "+contraseña).getBytes())))
                              .get();
            System.out.println("¡Ocultado con éxito! Título de la página: " + doc.title());
        } catch (Exception e) {
            System.err.println("¡Extraviado! Mensaje de error:" + e.getMessage());
        }
    }
}

He aquí algunasPuntos para evitar escollos::

• No sea tacaño con el tiempo de espera, se recomiendan 8 segundos para empezar.
• Recuerde gestionar los problemas de certificados SSL (puede añadir .ignoreHttpErrors(true))
• El pool de IPs debe ser lo suficientemente grande, se recomienda utilizar el proxy residencial dinámico de ipipgo

Práctico: rastrear los datos de precios del comercio electrónico

Supongamos que queremos captar el precio de un artículo de un determinado este, la estructura HTML tiene el siguiente aspecto:

<div class="price">
  <span class="main-price">¥2999</span>
  <span class="discount">Reducción total de 500</span>
</div>

código Java correspondiente:

Elementos precios = doc.select(".precio . precio-principal");
for (Elemento precio : precios) {
    System.out.println("Precio actual: " + precio.text().replace("¥", "")); }
}

En este punto, si no usas un proxy, serás reconocido como un crawler en minutos. Utilice elAgentes de rotación inteligentesque cambia automáticamente de IP, lo que es mucho menos problemático que hacerlo manualmente.

Preguntas frecuentes QA

P: ¿Qué debo hacer si se invalida la IP del proxy mientras lo estoy utilizando?
R: Esta situación es el ochenta por ciento de la IP es el sitio de destino sacó negro. Sugerencia:
1. Compruebe que la frecuencia de las solicitudes no es demasiado elevada
2. Cambie al paquete proxy residencial dinámico de ipipgo
3. Añadir un mecanismo de conmutación por error

P: ¿Cómo configurar la cabecera de la solicitud en Jsoup?
R: Llamadas en cadena después de .connect():
.header("User-Agent", "Mozilla/5.0...")
.header("Accept-Language", "zh-CN")

P: ¿Cómo elijo un paquete de agente para ipipgo?
R: Depende del escenario empresarial:

Paquete de estrategias antibloqueo

No basta con ser agente, hay que combinarlo con estos combos:

• Tiempo de reposo aleatorio (0,5-3 segundos)
• Sustitución de User-Agent
• Simulación de la trayectoria del ratón (con Selenium)
• Limpieza regular de cookies

Una última palabra desde el corazón: en el negocio de los reptiles.IP proxy estable y fiableEs tu segunda vida. Deshacerse de su propio servidor proxy requiere mucho tiempo y trabajo, así que ¿por qué no utilizar un servicio profesional como ipipgo, y ahorrar tiempo para pasar más tiempo con su familia, ¿verdad?