Node.js asynchronous collection framework: high concurrency architecture design core code

Manos a la obra con Node.js para la adquisición de alta concurrencia

¿Qué es lo que más teme de la recopilación de datos? El bloqueo de IP. Especialmente cuando se necesita un gran número de peticiones, la IP autónoma será bloqueada por el sitio web en cuestión de minutos. En este momento, es necesario utilizar IP proxy parariesgo compartidoEs como abrir una cadena de tiendas para abrir sucursales en distintos lugares.

Tomemos como ejemplo Node.js, que es naturalmente asíncrono y no bloqueante. Por ejemplo, trabajar con 10 IPs proxy al mismo tiempo es más de 10 veces más rápido que zumbando con 1 IP. Pero ten cuidado.La calidad de la IP proxy determina directamente el éxito o el fracaso de la adquisiciónNo seas tacaño y utilices esos proxies faisanes que fallan a los tres días.

Así es como hay que escribir el código del núcleo.

En primer lugar, todo el módulo de gestión de grupos proxy (no te dejes intimidar por la terminología, en realidad es un repositorio de IP):

const proxyPool = {
  currentIndex: 0,
  ips: ['ipipgo-1.proxy', 'ipipgo-2.proxy', ...] , // Rellene aquí el proxy proporcionado por ipipgo.
  getNext() {
    this.currentIndex = (this.currentIndex + 1) % this.ips.length
    return `http://${this.ips[this.currentIndex]}:3000`
  }
}

Aquí está el truco, el control asíncrono se va a hacer conPromise.allSettledEn lugar de Promise.all, ¿por qué? Porque aunque algunas peticiones fallen, las otras que tengan éxito seguirán haciendo su trabajo y no se perderán todas.

async function batchRequest(urls) {
  const promesas = urls.map(url => {
    const proxy = proxyPool.getNext()
    return axios.get(url, {
      proxy: { host: proxy.split(':')[1], port: 3000 },
      tiempo de espera: 5000
    }).catch(e => null) // auto-reintento en caso de fallo
  })

  return Promise.allSettled(promesas)
}

Cómo acceder sin problemas al proxy ipipgo

Después de haber utilizado bastantes servicios proxy, acabé bloqueando ipipgo por sólo tres razones:

Acoplar ipipgo en el código es particularmente fácil, y su API devolverá una dirección proxy como ésta:

// Última lista de proxy de ipipgo
const ipipgoProxyList = [
  'user-12345@proxy.ipipgo.com:3000',
  'user-67890@proxy.ipipgo.com:3000'
]

Blanco Preguntas frecuentes QA

P: ¿Qué debo hacer si mi IP proxy siempre falla?
R: Utiliza el pool de IPs dinámicas de ipipgo, ellos cambian automáticamente un lote de IPs cada 15 minutos, ¡mucho más preocupante que su propio mantenimiento!

P: ¿Qué debo hacer si no consigo ponerme al día con la adquisición?
R: Compruebe dos cosas: 1. si el número de concurrencias es demasiado pequeño 2. el retardo de respuesta de la IP proxy (utilice la herramienta de prueba de velocidad de ipipgo para comprobarlo)

P: ¿Cómo elijo un servicio de proxy sin pisar charcos?
R: reconocer tres puntos: ① admitir el pago por volumen ② ofrecer supervisión en tiempo real ③ disponer de un mecanismo de conmutación automática de fallos (ipipgo cumple los tres).

Consejos para mejorar el rendimiento

Recuerda esta fórmula de oro:Concurrencia máxima = Número de IP proxy × Capacidad de carga de IP única. Por ejemplo, hay 50 proxies ipipgo, cada uno recomendado para llevar 20 concurrencia, la concurrencia total no debe exceder de 1000.

Los parámetros de sintonización están tan ajustados:

• Tiempo de espera: se recomiendan 5-8 segundos (demasiado tiempo afecta a la eficacia)
• Número de reintentos: se prefieren 2-3
• Intervalo de solicitud: aleatorio 100-500ms (visitas antirregularidad)

Por último, voy a utilizar ipipgo.Enrutamiento inteligenteFunción, distribuir automáticamente la solicitud a diferentes regiones del nodo agente, la recogida de datos de comercio electrónico cuando el bien especial, puede obtener la información de precios de diferentes regiones.