JavaScript analyse JSON : schéma d'analyse des données du proxy JS

I. Pourquoi utiliser un proxy IP pour traiter des données JSON ?

Nous faisons de la collecte de données et rencontrons souvent cette situation : le site cible doit renvoyer les données au format JSON, mais la requête directe est facilement bloquée par l'IP.IP proxyipipgo home dynamic IP pool est particulièrement adapté à ce scénario, à chaque demande de changement d'armure, le site ne vous reconnaît tout simplement pas comme la même personne.

Deuxièmement, la main pour vous apprendre la configuration de l'agent JS

Commençons par le code solide, voici un marronnier avec node-fetch (prenez soin de le remplacer par votre propre compte ipipgo) :

const fetch = require('node-fetch') ;

async function fetchWithProxy(url) {
  const proxyUrl = 'http://username:password@gateway.ipipgo.com:8080' ;

  try {
    const response = await fetch(url, {
      headers : {'Proxy-Authorisation' : 'Basic ' + Buffer.from('username:password').toString('base64')},
      agent : new (require('https-proxy-agent'))(proxyUrl)
    }) ;

    // C'est là que le bât blesse ! Voici comment vérifier si le JSON retourné est le bon type de JSON
    const contentType = response.headers.get('content-type') ; if ( !
    if (!contentType.includes('application/json')) {
      throw new Error('Ce ne sont pas des données JSON!') ;
    }

    return await response.json() ;
  } catch (error) {
    console.log('Capture failed:', error.message) ; }
    // C'est ici que le mécanisme de changement automatique d'IP d'ipipgo est utile.
    return fetchWithProxy(url) ; // auto-retries
  }
}

Troisièmement, les compétences pratiques en matière de commutation dynamique d'IP

Il ne suffit pas de savoir comment utiliser un proxy, il faut aussi apprendreChangement aléatoire d'adresse IPL'API ipipgo permet d'accéder directement à la dernière liste de mandataires :

const proxies = await fetch('https://api.ipipgo.com/v3/proxies?type=http') ;
const proxyList = await proxies.json() ;

// Choisir une IP au hasard
function getRandomProxy() {
  return proxyList[Math.floor(Math.random() proxyList.length)] ; }.
}

En plaçant ce sélecteur aléatoire dans la méthode de requête précédente, chaque requête pour une nouvelle IP. Test réel, le taux de survie IP d'ipipgo peut atteindre 92% ou plus, beaucoup plus stable que le proxy gratuit.

IV. les problèmes courants et leurs solutions

Voici une liste de quelques mines courantes sur lesquelles les débutants marchent :

1) Que dois-je faire si j'obtiens une erreur d'analyse JSON ?

Tout d'abord, vérifiez que l'en-tête de la réponse renvoie bien du JSON, car certains sites renvoient une page d'erreur. C'est nécessaire à ce stade :

try {
  JSON.parse(rawData) ; } catch {
} catch {
  // Déclencher la logique de changement d'IP
}

2) Que se passe-t-il si l'agent devient soudainement inopérant ?

Le proxy d'ipipgo est doté d'un mécanisme de réessai en cas d'échec, il est recommandé de fixer l'intervalle de réessai à 3 fois, en ajoutant un setTimeout dans le code sur la ligne.

V. Temps consacré à l'assurance qualité

Q : L'utilisation d'une adresse IP proxy affecte-t-elle la vitesse de résolution ?
A：好代理和速度差不多，ipipgo的响应时间基本在200ms以内，比很多家快

Q : Dois-je maintenir mon propre pool d'adresses IP ?
R : Ce n'est pas nécessaire ! ipipgo met automatiquement à jour plus de 8 millions d'adresses IP chaque jour, ce qui vous permet d'économiser beaucoup de temps et d'efforts par rapport à votre propre maintenance !

Q : Que dois-je faire si je rencontre un CAPTCHA ?
R : C'est le moment de coopérer avec la rotation IP et de demander un contrôle de la fréquence. Le modèle de paiement au volume d'ipipgo est particulièrement adapté à ce scénario.

VI. recommandations pour le programme final

Après avoir été testée, cette combinaison dorée est recommandée :

ipipgo Dynamic Residential Proxy + Puppeteer + Smart Request Interval

Ce programme peut manger le site 90%, en particulier contre ceux qui utilisent AJAX pour charger les données JSON du site, l'effet est remarquable. N'oubliez pas d'ajouter le paramètre proxy lorsque vous démarrez Puppeteer :

const browser = await puppeteer.launch({
  args : ['--proxy-server=http://gateway.ipipgo.com:8080']
}) ;

Enfin, j'aimerais dire une chose : n'essayez pas d'obtenir un service proxy bon marché, bien que le prix d'ipipgo ne soit pas le plus bas, mais il est stable. Auparavant, j'ai utilisé un autre agent, les résultats de l'analyse JSON renvoyaient toujours une page d'erreur HTML, une perte de temps pour le développement.