Node.js Web Crawling : Agent Crawler Node.js

Que faire lorsqu'un crawler Node.js rencontre un backcrawl ? Essayez cette astuce d'IP proxy

Les frères Crawler comprennent que la chose la plus pénible dans l'écriture de scripts pour capturer des données dans Node.js est que la fonctionIP bloqué. Le mois dernier, j'ai eu un projet pour attraper les prix du commerce électronique, juste courir une demi-heure IP a été mis sur liste noire. Plus tard, j'ai utilisé la méthode de rotation de l'adresse IP du proxy, le taux de réussite a directement tiré vers le haut. Ici, pour donner à tout le monde une astuce, avec l'IP proxy au crawler pour porter une "cape".

Ensemble pratique trois pièces Proxy IP

Le choix d'une IP proxy dépend du scénario de l'entreprise :

// Rotation d'IP avec axios-proxy
const axios = require('axios') ;
const proxies = ['ip1:port', 'ip2:port'] ; // permutation vers de vraies IP de proxy

async function stealthRequest(url) {
  const proxy = proxies[Math.floor(Math.random()proxies.length)] ;
  return axios.get(url, {
    proxy : {
      protocol : 'http', {
      host : proxy.split(':')[0],
      port : parseInt(proxy.split(':')[1])
    }
  }) ;
}

Pourquoi ipipgo est-il utile pour les fêtes de reptiles ?

Après avoir utilisé sept ou huit fournisseurs de services proxy, j'ai fini par bloquer ipipgo principalement pour ces raisons :

• La réserve d'adresses IP est suffisamment profondeDes transporteurs dans plus de 200 pays pour saisir les données offshore.
• Accord completSupport complet de HTTP/HTTPS/Socks5, pas besoin de modifier le code existant
• Les maisons dynamiques sentent bon.Les projets à petit budget : Un paquet de 1G à plus de 7 $ qui est intéressant pour les projets à petit budget

Guide du débutant pour éviter les pièges

Quelques erreurs faciles à commettre lorsque l'on débute :

1. Je n'ai pas fixé de délai d'attente et je suis bloqué dans le processus.
2. Les changements d'adresse IP trop fréquents déclenchent un contrôle des vents
3. Oublier de gérer la validation des certificats SSL

// Exemple de configuration d'un proxy complet
const agent = new HttpsProxyAgent('http://username:password@ProxyIP:Port') ;
const response = await fetch(url, {
  agent, {
  timeout : 15000, //15 secondes timeout
  headers : {
    User-Agent" : "Mozilla/5.0 (Windows NT 10.0) ...
  }
}) ;

Foire aux questions QA

Q : Que dois-je faire si le proxy IP échoue trop rapidement ?
R : Il est recommandé d'utiliser l'IP résidentielle statique exclusive d'ipipgo, 35 yuans par mois pour une stabilité totale.

Q : Vous n'arrivez pas à augmenter la vitesse d'exploration ?
R : Essayez les requêtes simultanées + la rotation multi-IP, mais veillez à ne pas dépasser les limites du QPS du site cible.

Q : Comment puis-je savoir si une procuration est en vigueur ?
R : Utilisez cette interface de détection pour essayer : http://httpbin.org/ip , le retour de l'IP modifiée signifie le succès !

Paquets d'économies recommandés

Il est plus rentable de choisir un forfait en fonction de la taille de votre projet :

• Développeurs individuels : Dynamic Residential Standard (7,67 $/GB)
• Studio : Dynamic Residential Enterprise ($9.47/GB)
• Projets à long terme : IP résidentielles statiques (35 $ chacune)

Une dernière chose à savoir : les systèmes de contrôle des risques de nombreux sites web testent les éléments suivantsGéolocalisation IPrépondre en chantantType d'opérateur. La dernière fois, un frère a utilisé l'IP d'un centre de données pour capturer des données, et il a été identifié comme un robot. Après être passé à l'IP résidentielle d'ipipgo, le taux de réussite du crawl est passé de 40% à 92%, ce qui en vaut la peine !