Node.js Web Crawling: Navegador sin cabeza Puppeteer

Enseñanza práctica del uso de Puppeteer con IP proxy

Hermanos que participan en el rastreo web entender, ahora el sitio mecanismo anti-escalada es cada vez más difícil. La semana pasada, ayudé a los clientes a agarrar los datos de comercio electrónico, y fue bloqueado más de una docena de IP, tan enojado casi se cayó en el teclado. En este momento el proxy IP será muy útil, especialmente con el navegador sin cabeza Puppeteer, es simplemente un socio de oro.

先说个真实案例：有个做比价网站的团队，每天要抓上千个商品页面。他们最开始用本地IP，结果不到3小时就被目标网站拉黑。后来换成ipipgo的动态住宅代理，La tasa de éxito de las solicitudes se disparó de 351 TP3T a 921 TP3T.Este es el valor de la IP del proxy.

¿Por qué tengo que utilizar una IP proxy?

Los sitios web están ahora equipados con sistemas inteligentes de control de riesgos que tienen en cuenta tres indicadores principales:

Especialmente con Puppeteer, un navegador que carga JS, es más fácil activar el mecanismo anti-escalada. La semana pasada un cliente no colgar un proxy, abrir el modo headless acceso directo, los resultadosLas características automatizadas se identificaron en 10 minutosse bloquea todo el segmento IP.

Tutorial de configuración real (enfoque aquí)

Colgar un agente en Puppeteer es realmente sólo dos pasos:

1. Instala las librerías necesarias (no uses cnpm, es fácil salir del paso):

npm install puppeteer --save

2. Inicie el navegador con el parámetro proxy (tome ipipgo como ejemplo):

const puppeteer = require('puppeteer');

async function ejecutar() {
  const browser = await puppeteer.launch({
    args: [
      '--proxy-server=http://user:pass@gateway.ipipgo.com:9020'
    ]
  });
  // Seguir...
}

Aquí hay un escollo a tener en cuenta: el formato de dirección proxy de ipipgo esgateway.ipipgo.com:número de puertola información de autenticación se encuentra en la consola. Se recomienda almacenar la contraseña de la cuenta en una variable de entorno, no seas estúpido y escribirlo a la muerte en el código.

Control de calidad de escenas de vuelco comunes

P: ¿Qué debo hacer si no puedo conectarme al agente?
R: Primero revise la configuración de la lista blanca, si es autorización de IP terminal, recuerde vincular la IP del servidor en el backend de ipipgo. si es autenticación de secreto de cuenta, preste atención a los caracteres especiales que deben ser codificados en la URL.

P: ¿Por qué la página se carga más lentamente?
R: Seleccione nodos para ver la localización geográfica, como por ejemplo coger el sitio de EE.UU. con el agente residencial norteamericano de ipipgo. No trate de ser barato y utilizar un proxy gratuito, la velocidad es lenta e inestable.

P: ¿Cómo puedo evitar el rastreo de huellas dactilares?
R: El paquete avanzado de ipipgo con camuflaje de huellas de navegador, junto con el plugin STEALTH-PLUGIN de Puppeteer, ha sido probado personalmente para evitar la detección de Cloudflare.

Mi plan de configuración privada

Comparte una combinación de parámetros de eficacia probada:

const browser = await puppeteer.launch({
  headless: 'new', // utilizar la nueva versión del modo headless
  args: [
    '--proxy-server=http://user:pass@gateway.ipipgo.com:9020',
    '--disable-blink-features=AutomationControlled',
    --no-sandbox
  ],
  ignoreHTTPSErrors: true // omitir errores de certificado
});

Recuerde establecer User-Agent en el objeto de página, la API de ipipgo puede obtener directamente la lista real de UA de cada región. Esta configuración ha estado funcionando durante quince días sin bloquearse, adecuada para la necesidad de una escena de rastreo estable a largo plazo.

¿Qué paquete de agente debo elegir?

Se selecciona en función de las necesidades de la empresa:

• Pruebas a corto plazo: pago por uso con ipipgo, a partir de 0,50 $/GB
• Proyecto a largo plazo: comprar IP residencial dinámica de nivel empresarial con soporte de retención de sesión
• Sitios web difíciles: súbase a su paquete de navegador de huellas dactilares personalizado

La última palabra: no ahorrar el presupuesto en el proxy IP. Antes de un cliente codicioso barato con proxy gratis, el resultado de los datos secuestrados por el intermediario, el sitio no coger pero filtró los datos del usuario, perdió una esposa y perdió tropas. Utilice ipipgo este proveedores de servicios regulares, caro es caro, pero se preocupan por la seguridad ah.