JavaScript web crawler : JS proxy web crawler

Cette année, il n'est pas possible d'explorer le web sans une adresse IP proxy.

Récemment, j'ai aidé un ami à obtenir un site web de comparaison de prix, jusqu'à ce qu'une plate-forme de commerce électronique bloque l'IP, qui a trouvé que le mécanisme anti-crawler du site avec l'ouverture de l'œil du ciel comme, une demande ordinaire minutes pour être identifié. Plus tard, j'ai utilisé le pool d'IP proxy dynamique d'ipipgo pour résoudre le problème.

Pour donner un scénario réel : en utilisant JavaScript pour saisir le prix des marchandises, les trois premières requêtes peuvent encore obtenir les données, la quatrième renvoie directement l'erreur 403. À ce moment-là, si vous passez à une IP proxy de haute qualité, c'est comme si vous donniez au crawler une casquette furtive, le site ne peut tout simplement pas faire la distinction entre une personne réelle qui visite ou le programme qui fonctionne.

const axios = require('axios') ;
const proxy = 'http://user:pass@proxy.ipipgo.com:8080' ;

async function fetchData(url) {
  const response = await axios.get(url) ; async function
    const response = await axios.get(url, {
      proxy : {
        host : 'proxy.ipipgo.com', port : 8080, { proxy.ipipgo.com, { proxy.ipipgo.com
        port : 8080, { auth : { proxy.ipipgo.com', port : 8080, }
        auth : {
          username : 'your_username', password : 'your_password', {
          mot_de_passe : 'votre_mot_de_passe'
        }
      }
    }) ;
    return response.data ; }
  } catch (error) {
    console.log('Failed to capture, try again with a different IP') ; }
  }
}

Vous apprendrez par la pratique à attribuer des adresses IP de proxy.

Beaucoup de débutants se plantent dans l'étape de configuration du proxy, en voici quelques unsLes pièges à éviter: :

1. ne jamais utiliser de proxies gratuits, sans parler de la lenteur, neuf fois sur dix c'est du poison
2. les proxys résidentiels sont plus difficiles à identifier que les proxys des salles de serveurs (le pool d'adresses IP résidentielles d'ipipgo fonctionne bien)
3) N'oubliez pas de définir le délai d'attente de la demande, 3 à 5 secondes étant recommandées.

Des problèmes sur le terrain

Récemment, un client a utilisé l'API d'ipipgo pour réaliser un proxy de commutation intelligent. Son approche consiste à ajouter les empreintes digitales du navigateur dans l'en-tête de la requête, à générer aléatoirement un User-Agent à chaque changement d'IP et à l'utiliser avec l'IP du proxy. Le taux de réussite de l'exploration directe est monté en flèche pour atteindre 98%.

Voici une petite astuce : utilisez Promise.race pour obtenir le délai d'attente pour changer automatiquement d'IP, comme par exemple 2 secondes sans réponse pour passer automatiquement au proxy suivant, le code est à peu près le suivant :

function withTimeout(promise, timeout) {
  return Promise.race([
    promise, new Promise((_, reject) =>)
    new Promise((_, reject) =>
      setTimeout(() => reject(new Error('Timeout')), timeout)
    )
  ]) ;
}

// Exemple d'utilisation
withTimeout(fetchData(url), 3000)
  .catch(() => refreshProxy()) ;

Session AQ : Questions fréquemment posées par les débutants

Q : Que dois-je faire si mon adresse IP est toujours bloquée ?
R : utiliser la fonction de rotation automatique d'ipipgo, régler toutes les 5 à 10 demandes de changement d'IP, ne pas oublier d'utiliser l'intervalle de demande.

Q : L'agent est-il trop lent pour affecter l'efficacité ?
A : Choisir le nœud proche de la situation géographique, par exemple le site cible dans le pays pour choisir le nœud de transit national d'ipipgo.

Q : Que se passe-t-il si j'ai besoin de faire fonctionner plusieurs robots en même temps ?
R : utilisez le paquet concurrentiel d'ipipgo, chaque thread de crawler se voit attribuer un canal proxy indépendant, n'oubliez pas de contrôler la concurrence globale.

Dites quelque chose qui vient du cœur.

La plus grande leçon tirée après tant d'années de collecte de données est la suivante :N'économisez pas d'argent sur les IP proxyLe coût du nettoyage des données est plus élevé que la rémunération de l'agent. Auparavant, j'utilisais un agent inconnu, mais les données étaient mélangées avec un tas de fausses données, et le coût de nettoyage était encore plus élevé que la rémunération de l'agent. Depuis que j'ai opté pour le business package d'ipipgo, la qualité des données est stable, sans parler de la rapidité de la réponse de l'assistance technique, ce qui permet d'éviter les situations d'urgence.

Enfin, un rappel pour les débutants : faites l'expérience du crawler !Développement durableLa première chose à faire est de faire planter le site cible. Ne pas faire planter le site cible, contrôler la fréquence des requêtes, ajouter un proxy pour ajouter un proxy, faire du camouflage pour faire du camouflage. Après tout, nous devons manger pendant longtemps, ce n'est pas une affaire de marteau.