JavaScript Rendering Page Capture Scheme: Optimización de la memoria del navegador Headless

Guía práctica para vaciar la memoria de los navegadores headless

Los amigos que se dedican a la recopilación de datos deben haber encontrado esta situación: el uso de Puppeteer o Playwright para rastrear la página renderizada JS, corriendo y corriendo la memoria estallará. Especialmente la recolección de tareas que necesitan ejecutarse durante un largo período de tiempo, moviéndose para darle una advertencia de fuga de memoria. Hoy vamos a hablar de cómo utilizar proxy IP con algunas operaciones de mal gusto para minimizar la huella de memoria del navegador sin cabeza.

Los tres principales culpables de las ráfagas de memoria

Veamos primero algunos asesinos típicos de la memoria:la caché de página consume memoriaEs como la Gula, cuantas más pestañas abres más te mata;Los elementos DOM no se limpianEs como una habitación que no se limpia, más basura se acumula;La interceptación de solicitudes no funciona.Es como un grifo que gotea con recursos cargados a escondidas. Con estos tres tipos juntos, una máquina con 8G de RAM puede funcionar durante dos horas.

Usos alternativos de las IP proxy

La atención se centra aquí en el ipipgo deRotación dinámica de IPFunción. Muchas personas sólo saben utilizar proxy IP para evitar el bloqueo, de hecho, también nos puede ayudar a ahorrar memoria. Por ejemplo, cada 50 páginas recogidas en la IP para reiniciar la instancia del navegador, a fin de evitar el reconocimiento de características, sino también para forzar la liberación de memoria. Probado con este método, 16 horas de recogida continua de las fluctuaciones de memoria puede ser estable dentro de ± 200MB.

Ejemplo de configuración específica (entorno Node.js):

const {ipipgo} = require('ipipgo-sdk');
let currentProxy = ipipgo.getRotatingProxy();

async function restartBrowser(){
  await browser.close();
  browser = await puppeteer.launch({
    args: [currentProxy.newIp()]
  });
  // 每50次请求换IP重启
  if(requestCount %50 ===0) restartBrowser();
}

Cuatro ejes de optimización de la memoria

1. Las solicitudes deben interceptarse sin piedadUtiliza page.setRequestInterception para eliminar directamente imágenes, fuentes y otros recursos innecesarios. Recuerda liberar el CSS y el JS, de lo contrario la estructura de la página podría no cargarse completamente.

2. Limpieza programada: Después de procesar cada página, se ejecuta page.removeAllListeners(), y el objeto DOM debería ponerse a cero, así que no seas blando.

3. Pestaña No seas avaricioso: Se recomienda tener hasta 5 pestañas abiertas en una sola instancia, y más que eso abrir una nueva instancia del navegador. Es más lento al arrancar, pero la memoria es más estable.

4. La supervisión de la memoria es insuperable: Usa process.memoryUsage() para hacer una comprobación temporizada y reiniciar automáticamente si excede el umbral. Esto es en conjunto con la rotación de IP pool de ipipgo, el efecto es sobresaliente.

Sesión práctica de control de calidad

Q：¿Qué debo hacer si la velocidad de recogida se ralentiza después de usar una IP proxy?
R: Ir con ipipgo'sAcceso exclusivo de alta velocidadno utilices proxies públicos. La respuesta de su interfaz HTTP puede controlarse en 200 ms, lo que es más rápido que algunos proxies autoconstruidos.

P: ¿Cómo puedo resolver el problema de encontrar siempre verificación humana?
R: En la cabecera de la petición proxy añada los parámetros X-Forwarded-For, con la IP residencial de ipipgo. recuerde que cada petición User-Agent a generar aleatoriamente, la trayectoria de movimiento del ratón con simulación de curva bezier más realista.

P: ¿Y si necesito recopilar muchas páginas AJAX?
R: Desactiva el salto de página directamente y utiliza page.evaluateHandle para obtener la instantánea del DOM. Ejecute page.deletePage() inmediatamente después de realizar la adquisición, para evitar la fragmentación de la memoria.

Lo último en ahorro de memoria

Al final, la optimización de la memoria esOrdenar duro + lata distribuir. No lo dudes a la hora de reiniciar, y no te tomes a mal si puedes cambiar tu identidad con una IP proxy. Los proveedores de servicios como ipipgo, que pueden proporcionar millones de grupos de IP, son especialmente adecuados para escenarios que requieren un cobro estable a largo plazo. Su API admite la facturación por minuto, y no temen verse acorralados por las limitaciones de IP cuando aumentan temporalmente su volumen.

Por último, me gustaría compartir una configuración privada: ejecuta el script de recolección en docker con un límite de memoria de 1G, y con el esquema de optimización anterior, la curva de uso de memoria de 24 horas es más estable que la de un ECG. Si algo va mal en medio de la ejecución, la API de ipipgo puede cambiar automáticamente entre IPs disponibles, lo que es una gran manera de salvar tu mente.