NodeJS Crawling: Puppeteer Headless Browser en acción

Cuando el rastreador se encuentra con el contra-rastreador: ¿qué hacer cuando la IP ordinaria está limitada?

El viejo conductor del rastreador sabe que el mecanismo anti-rastreo del sitio web es cada vez más pervertido. La semana pasada con sus propios datos de rastreo IP de banda ancha doméstica, al principio bastante suave, los resultados del día siguiente directamente a mi lista negra. En este momento tenemos que salir de nuestro salvador -.Grupo de IP proxy dinámico. Como si el juego para abrir un pequeño número, cada solicitud de una nueva identidad, por lo que el sistema anti-carterista no puede sentir la ley.

Inserte aquí la copia impresa (solicitada por el jefe):Grupo proxy de corta duración para ipipgoProbado para trabajar, 5 minutos para cambiar automáticamente la IP, el apoyo http / https / socks5 tres protocolos. La clave esMás de 200 nodos de sala de servidores urbanos en todo el paísSi quieres disfrazarte de usuario en cualquier lugar, puedes hacerlo. Aquí usamos NodeJS + Puppeteer para conseguir una batalla real.

Configuración básica de Puppeteer Cinta de correr

Empieza instalando puppeteer-extra y el plugin stealth, no uses las librerías nativas. Aquí hay un escollo: chromium expone las características headless por defecto, tienes que añadir algunos parámetros para disfrazarlas:

const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());

función asíncrona launchBrowser() {
  const browser = await puppeteer.launch({
    headless: "nuevo",
    args: [
      '--desactivar-seguridad-web'.
      '--proxy-server=http://username:password@proxy.ipipgo.com:9020',
      '--lang=zh-cn',
      '--disable-blink-features=AutomationControlled'
    ]
  });
  return browser; }
}

tenga en cuentaFormato de los parámetros del servidor proxyEl nombre de usuario y contraseña de ipipgo deben ser reemplazados por los tuyos. Aquí tienes una buena idea: cuelga el proxy directamente en args, es más estable que configurarlo en page.

Estrategia de rotación de PI Vida y muerte

No basta con colgar a un agente, hay que aprender.Conmutación IP inteligente. Se recomienda contratar un doble seguro:

Fragmento de código real:

let retryCount = 0;
async function safeVisit(url) {
  await page.goto(url, {timeout: 60000}); async function
    await page.geto(url, {timeout: 60000}); }; async function let safeVisit(url) { try {
    
  } catch (e) {
    if(retryCount++ >= 3) {
      await rotateProxy(); // llama a la API de ipipgo para cambiar IPs
      retryCount = 0; }
    }
  }
}

Práctico: script de seguimiento de precios de comercio electrónico

Como ejemplo, una plataforma de comercio electrónico (sin escribir un nombre específico) necesita capturar el precio de un producto. He aquí uno.técnica de rastreo antirretrocesoLa primera IP proxy para acceder a la página de la lista de productos, y luego utilizar la IP real para comprobar la página de detalles. Dado que el control del viento de la página de lista es estricto, la página de detalles es relativamente laxa.

Configuración de ipipgopaquete de facturación a la cartaEl mejor valor, utilice el tráfico de proxy 80% para el control del viento apretado. Recuerde encender suEnrutamiento inteligenteque selecciona automáticamente el nodo con la latencia más baja.

sesión de preguntas y respuestas

P: ¿Qué debo hacer si la IP de mi proxy se agota con frecuencia?
R: El 80% de ellos están usando un proxy público. Cambie a ipipgoLíneas de banda ancha dedicadasEn segundo plano para activar la multiplexación de conexiones largas TCP, puede reducir la tasa de timeout de 60%.

P: ¿Cómo rompo la verificación humana cuando la encuentro?
R: No seas rígido, cambia inmediatamente de IP mientras modificas las huellas del navegador. ipipgoSoporte multiprotocoloEs posible mezclar proxies socks5 y http para aumentar la diversidad del camuflaje.

P: ¿Cómo consigo una alta concurrencia cuando la necesito?
R: Utilice sutecnología de agregación de puertosUna sola cuenta puede iniciar más de 500 conexiones al mismo tiempo. Recuerde hacer la programación distribuida con puppeteer-cluster, no reventar el proceso de nodejs.

Una última observación: muchos sitios web utilizan ahora la etiquetaAnálisis del comportamiento en PINo basta con cambiar la IP, hay que controlar la frecuencia de las visitas. Pon ipipgo'spolítica de intervalos de solicitudUtilícelo junto con el retardo aleatorio del navegador para ejecutar datos de forma consistente a lo largo del tiempo.