Node.js asynchronous collection framework : high concurrency architecture design core code

Pratique de Node.js pour l'acquisition d'un haut niveau de concurrence

Que craignez-vous le plus dans la collecte de données ? Le blocage des adresses IP ! En particulier lorsqu'un grand nombre de requêtes est nécessaire, l'IP autonome sera bloquée par le site web en quelques minutes. Il est alors nécessaire d'utiliser une IP proxy pourpartage des risquesC'est comme si une chaîne de magasins ouvrait des succursales dans différents endroits.

Prenons l'exemple de Node.js, qui est naturellement asynchrone et non bloquant. Par exemple, travailler avec 10 IP proxy en même temps est plus de 10 fois plus rapide que de se balader avec 1 IP. Mais attention.La qualité de l'IP proxy détermine directement le succès ou l'échec de l'acquisition.Ne soyez pas radin et n'utilisez pas ces proxys de faisans qui tombent en panne au bout de trois jours.

C'est ainsi que le code principal doit être écrit.

Tout d'abord, le module de gestion du pool de proxy (ne vous laissez pas intimider par la terminologie, il s'agit en fait d'un dépôt d'adresses IP) :

const proxyPool = {
  currentIndex : 0,
  ips : ['ipipgo-1.proxy', 'ipipgo-2.proxy', ...] , // Remplir le proxy fourni par ipipgo ici.
  getNext() {
    this.currentIndex = (this.currentIndex + 1) % this.ips.length
    return `http://${this.ips[this.currentIndex]}:3000`
  }
}

C'est là que le bât blesse, le contrôle asynchrone se fera avecPromesse.allSettledAu lieu de Promise.all, pourquoi ? Parce que même si certaines demandes échouent, les autres qui réussissent continueront à faire leur travail et ne seront pas toutes perdues.

async function batchRequest(urls) {
  const promises = urls.map(url => {
    const proxy = proxyPool.getNext()
    return axios.get(url, {
      proxy : { host : proxy.split(':')[1], port : 3000 },
      timeout : 5000
    }).catch(e => null) // relance automatique en cas d'échec
  })

  return Promise.allSettled(promises)
}

Comment accéder de manière transparente au proxy ipipgo ?

Après avoir utilisé plusieurs services de proxy, j'ai fini par verrouiller ipipgo pour trois raisons seulement :

L'intégration d'ipipgo dans le code est particulièrement facile, et leur API renvoie une adresse proxy comme celle-ci :

// Liste de proxy la plus récente d'ipipgo
const ipipgoProxyList = [
  'user-12345@proxy.ipipgo.com:3000',
  'user-67890@proxy.ipipgo.com:3000'
]

White Frequently Asked Questions (questions fréquemment posées) QA

Q : Que dois-je faire si mon IP proxy échoue toujours ?
R : Utilisez le pool d'adresses IP dynamiques d'ipipgo, qui change automatiquement un lot d'adresses IP toutes les 15 minutes, ce qui est bien plus inquiétant que leur propre maintenance !

Q : Que dois-je faire si je n'arrive pas à me familiariser avec l'acquisition ?
A：检查两处：1. 并发数是否设得太小 2. 代理IP的响应（用ipipgo的测速工具查）

Q : Comment choisir un service proxy sans marcher sur des flaques d'eau ?
R : reconnaître trois points : ① prendre en charge le paiement au volume ② fournir une surveillance en temps réel ③ disposer d'un mécanisme de commutation automatique en cas de défaillance (ipipgo répond à ces trois critères).

Conseils pour l'optimisation des performances

Rappelez-vous cette formule d'or :Concurrence maximale = nombre d'IP mandataires × capacité d'accueil d'une IP unique. Par exemple, il y a 50 proxies ipipgo, chacun recommandé pour transporter 20 concurrences, la concurrence totale ne doit pas dépasser 1000.

Les paramètres de réglage sont ainsi adaptés :

• Délai d'attente : 5 à 8 secondes recommandées (un délai trop long nuit à l'efficacité)
• Nombre de tentatives : 2-3 de préférence
• Intervalle de requête : aléatoire 100-500ms (visites anti-régularité)

Enfin, je vais utiliser ipipgo.Routage intelligentFonction : distribution automatique de la demande aux différentes régions du nœud de l'agent, collecte des données du commerce électronique lorsque le produit spécial, possibilité d'obtenir des informations sur les prix dans les différentes régions.