Node Web Crawler: Puppeteer en acción

¿Por qué se bloquean siempre los rastreadores de Puppeteer?

Cuando muchos hermanos utilizan Puppeteer para obtener datos, a menudo se encuentran con el problema403 Denegación de accesooCAPTCHA bombardeo. El mes pasado ayudé a un cliente para atrapar el precio del comercio electrónico, acaba de ejecutar media hora IP fue retirado. Más tarde se encontró que era el sitio web de destino que reconoció el rastreador por tres características: la frecuencia de solicitud, huella digital del dispositivo, y lo más perjudicial de todoVisitas repetidas desde IP fijas.

La forma correcta de abrir una IP proxy

Un consejo para los chicos: utilicen la funciónRotación del grupo de proxy residencial IP. Por ejemplo, con la IP residencial dinámica de ipipgo, cada visita cambia automáticamente la dirección de salida. La prueba real de una plataforma de comercio electrónico durante 3 días seguidos atrapado ningún control de viento de disparo, el código clave es largo así:

const puppeteer = require('puppeteer');
const ipipgo = {
  host: 'gateway.ipipgo.net',
  
  auth: 'username:password' // recuerde cambiar a su propia clave
};

(async () => {
  const browser = await puppeteer.launch({
    args: [`--proxy-server=http://${ipipgo.host}:${ipipgo.port}`]
  });
  //... Operaciones posteriores
})();

Evitar la operación chabacana de detección de huellas dactilares

No basta con cambiar de IP, hay que aprenderHacerse pasar por una persona real. He aquí un combo de habilidades prácticas para compartir:

Sugiero añadir tiempos de espera aleatorios al código, no abrir la página en segundos como un robot:

function retrasohumano() {
  return Math.random() 2000 + 1000; // 1-3 segundos de espera aleatoria
}

await page.waitForTimeout(humanDelay());

Tiempo de control de calidad: dificultades que puede haber encontrado

P: ¿Qué debo hacer si la IP de mi proxy se agota con frecuencia?
A: Preferencia por los ipipgo'sIP residencial estática de larga duraciónSus líneas soportan conexiones largas, y su estabilidad medida es 40% superior a la de las IP dinámicas ordinarias.

P: ¿Cómo puedo saber si una IP está expuesta?
R: Añada un enlace de detección en el código, visite https://httpbin.org/ip, si la IP devuelta no coincide con la esperada, cambie inmediatamente el proxy

P: ¿Y si necesito una gran concurrencia?
R: Utilice ipipgo'sPaquete multihiloCon el despliegue del clúster, preste atención a controlar que la cantidad de peticiones por segundo no supere el umbral del sitio de destino para soportar

Consejos para la puesta en marcha: ver para creer

Se recomienda añadir a los parámetros de inicioDepuración visual en modo HeadlessCompruebe usted mismo el comportamiento del rastreador:

const browser = await puppeteer.launch({
  headless: false, //ver la pantalla de ejecución real
  slowMo: 50, //lentitud de la operación
  args: [`--proxy-server=http://${ipipgo.host}:${ipipgo.port}`]
});

Por último, le recordamos que elija el servicio de agente para reconocer elipipgo este soporte auto switching + mecanismo de reintento de falloEl proveedor de servicios. La última vez que utilicé su función de conmutación automática por error, la tasa de éxito de rastreo se disparó directamente de 67% a 92%, ¡qué aroma!