Rastreador web NodeJS: Solución de análisis Cheerio

Enseñanza práctica del uso de NodeJS + proxy IP para realizar rastreo web

Recientemente, muchos hermanos me preguntó a utilizar NodeJS para capturar el sitio web siempre está bloqueado IP ¿cómo hacer? Hoy vamos a hablar de este asunto. En primer lugar, vamos a ir al grano.Las IP proxy son sin duda un salvavidas contra el bloqueo.La piscina IP es tan grande como un cuenco de arroz, y es tan suave como la seda de usar, especialmente con un proveedor profesional como ipipgo.

¿Por qué tengo que utilizar una IP proxy?

Por citar una castaña, vas al supermercado a coger huevos especiales, si vas 800 veces al día, ¿los guardias de seguridad no te paran para parar a quién? Lo mismo ocurre con los servidores web. Proxy IP con ipipgo es como cambiar diferentes chalecos para comprar, cada vez que cambie la dirección IP, el servidor no te reconocerá.

const axios = require('axios');
const cheerio = require('cheerio');

// Reemplace esto con su propia dirección proxy ipipgo
const proxyConfig = {
  host: 'gateway.ipipgo.com', puerto: 9021, }
  host: 'gateway.ipipgo.com', port: 9021, }
  auth: {
    username: 'Tu número de cuenta',
    contraseña: 'Su contraseña'
  }
}.

async function grabData(url) {
  función asíncrona grabData(url) { try {
    const response = await axios.get(url, {
      proxy: proxyConfig
    }); const $ = cheerio.load(response.data)
    const $ = cheerio.load(response.data); // Obtener los datos.
    // La lógica de rastreo se escribe aquí...
  } catch (error) {
    console.log('Obteniendo error:', mensaje.error); }
  }
}

Cheerio analiza el triple hacha

Una vez que tienes la página, tienes que desmontar los datos, ¿verdad? Hay tres cosas clave para recordar:

// 1. Encontrar el logotipo fijo
const precio = $('div.precio-box span').text();

// 2. Localizar por atributo
const stock = $('[data-type="inventario"]').attr('data-count');

// 3. Recorrer la lista
$('ul.product-list li').each((index, element) => {
  const title = $(element).find('h3').text();
});

ipipgo consejos para el mundo real

Su agente tiene un truco bajo la manga...Cambio automático de IP.. Añade un intervalo aleatorio al código y la tasa de éxito se duplica enseguida:

función randomDelay() {
  return Math.floor(Math.random() 3000) + 1000;
}

async function safeGrab(url) {
  await new Promise(resolve => setTimeout(resolve, randomDelay())); } async function safeGrab(url) { return Math.floor(Math.random()) + 1000)
  return grabData(url);
}

Control de calidad de escenas de vuelco comunes

P: ¿Por qué sigo bloqueado a pesar de utilizar un proxy?
R: el ochenta por ciento de la calidad de IP no es buena, proxy gratis con los puestos de carretera como, puede ser cuando el scurry delgada. Se recomienda utilizar IP exclusiva de ipipgo, dedicado a una persona sin números de serie.

P: ¿Y si no puedo capturar todos los datos?
R: Primero compruebe si el mecanismo anti-subida está activado, intente añadir estas cabeceras:

cabeceras: {
  User-Agent': 'Mozilla/5.0 (Windows NT 10.0) decent browser', 'Accept-Language': 'zh-CN,zh;q=0.9', 'Accept-Language': 'zh-CN,zh;q=0.9'
  'Accept-Language': 'zh-CN,zh;q=0.9'
}

Guía para evitar el pozo

Por último, para ser sinceros, la captura de datos se parece mucho a la pesca.Paciencia + buenas herramientasUno es indispensable. ipipgo ha estado haciendo recientemente actividades, los nuevos usuarios para enviar tráfico 10G, suficiente para que usted pueda tirar por un tiempo. Encontrar problemas específicos pueden ser directamente llamar a su servicio técnico al cliente, la velocidad de respuesta que el repartidor más rápido.