Node.js Rastreando Sitio Web: IP Proxy para Recolección Eficiente

Sustitución del Gatekeeper por un transformador - Principio antibloqueo de IP proxy

Por poner un ejemplo aterrizado, el sitio es como un barrio, cada visitante tiene un número de puerta (dirección IP). Cuando llamas a la puerta una docena de veces seguidas con el mismo número de puerta (peticiones frecuentes), la propiedad (sistema antiescalada) te echará como a un moscón. Esta vez si puedesCambiar de mono cada día + cambiar de cara(cambiando de IP proxy) y los guardias de seguridad no lo reconocerán como la misma persona.

El año pasado, hay un amigo que hace el comercio electrónico, rastreando el precio de los competidores fue la prohibición de ningún temperamento. Más tarde a la araña instalado un "dispositivo de deformación" (proxy IP pool), al día siguiente para recoger los datos completos. He aquí un punto clave:No utilices agentes libres.Son como permisos de trabajo falsos recogidos en la calle, aparecen en un minuto.

Manos a la obra con Transformer - Configuración de Node.js en acción

Primero prepara un crawler toolkit que transformará, aquí hay una demo con axios-proxy. Presta atención a este detalle de configuración, muchos tutoriales lo omiten:

const axios = require('axios');
const { HttpsProxyAgent } = require('https-proxy-agent');

// Reemplace esto con la información de su propia cuenta ipipgo
const proxyConfig = {
  host: 'gw.ipipgo.com', // no escriba mal esta dirección
  port: 9020, auth: 'Tu cuenta', // no escribas mal esta dirección
  auth: 'tu cuenta:contraseña' // ¡no uses dos puntos en chino!
};

async function stealthCrawler(url) {
  try {
    const agent = new HttpsProxyAgent(`http://${proxyConfig.auth}@${proxyConfig.host}:${proxyConfig.port}`);

    const response = await axios.get(url, {
      httpsAgent: agente, {
      timeout: 8000 // pon el timeout a corto, cambia de IP inmediatamente cuando se atasque.
    }).

    return response.data; } catch (error) { return axios.get(url)
  } catch (error) {
    console.log('Capturada una excepción, hora de cambiar IP:', error.message); // Aquí puedes acceder a la interfaz de autocambio de ipipgo.
    // Aquí puede acceder a la interfaz de autocambio de ipipgo.
  }
}

Presta atención al parámetro timeout en el código, esto es muy importante. Algunos nodos proxy pueden tener algún problema, por lo que establecer un timeout de 8 segundos puede evitar que todo el programa se atasque. Si te encuentras con un timeout, puedes activar el mecanismo de cambio de IP. El background de ipipgo tiene una API de cambio automático que puede ser llamada directamente.

Guía práctica para evitar el pozo

El año pasado pisé estas minas mientras hacía un seguimiento del precio de los libros para un cliente:

• Cambio de IP demasiado regular: No cambies las IPs a tiempo, añade un retardo aleatorio (30-300 segundos).
• regalar el juego solicitando una cabeza de vapor (modismo); desenmascarar la verdadera naturaleza de uno.Recuerde traer Referer y User-Agent, y utilizar la biblioteca de huellas dactilares del navegador de ipipgo.
• Incursión CAPTCHA

  : Prepare una copia de seguridad de la plataforma de codificación, ¡se recomienda utilizar el servicio de descifrado inteligente de códigos de verificación de ipipgo!