node-fetch POST request : proxy IP pour la collecte des données du backend

Pratique avec Node-fetch + proxy IP grab data

Le vieux fer à repasser de la collecte de données devrait comprendre, directement avec leur propre serveur IP site cible dur, minutes à être bloqué et noir. Hier, un ami du commerce électronique s'est plaint à moi que lorsqu'ils ont augmenté le prix des concurrents, ils ont juste saisi 200 éléments de données sur l'IP a été bloqué. Cette fois-ci, nous devons sacrifier notreméthode de l'IP proxyLes adresses IP de qualité fournies par des prestataires de services professionnels comme ipipgo, en particulier, peuvent certainement doubler l'efficacité de votre collecte.

Pourquoi dois-je utiliser une adresse IP proxy ?

Prenons un marronnier 🌰 : vous allez au supermarché pour acheter une offre spéciale, chaque fois que vous portez la même veste verte fluorescente, les agents de sécurité ne vous dévisagent pas pour dévisager qui ? De même, avec une IP fixe accès à haute fréquence au site, les gens feu n'est pas végétarien. ipipgo proxy IP pool est assez grand, chaque demande sont.Couper et changer automatiquement les gilets, la solution parfaite à ce problème.

// Version originale nue de la requête (opération à haut risque)
const fetch = require('node-fetch') ;
fetch('https://目标网站.com/api') ;

Transformation dans le monde réel : mise en place d'un gilet de procuration sur une requête

Commençons par les deux bébés à utiliser :recherche de nœudsResponsable de l'envoi des demandes.http-proxy-agentResponsable de la configuration du proxy. Voici un exemple du proxy HTTP d'ipipgo (ils envoient 1G de trafic pour les nouveaux utilisateurs, ce qui est suffisant pour les tests) :

const fetch = require('node-fetch') ;
const { HttpsProxyAgent } = require('https-proxy-agent') ;

// Informations sur le proxy extraites du backend ipipgo
const proxyConfig = {
  host : 'gateway.ipipgo.com',
  port : 9021, // proxyConfig
  auth : 'account:password' // n'oubliez pas de le remplacer par le vôtre
} ;

const agent = new HttpsProxyAgent(
  `http://${proxyConfig.auth}@${proxyConfig.host}:${proxyConfig.port}`
).

// Requête sécurisée avec proxy
async function safeFetch(url) {
  try {
    const response = await fetch(url, { agent }) ; console.log(await response.text()) ; console.log(await response.text()) ; }
    console.log(await response.text()) ; } catch (error) { const response = await fetch(url, { agent }) ; }
  } catch (error) {
    console.log('Request pounced:', error.message) ; }
  }
}

// Appels dans le monde réel
safeFetch('https://目标网站.com/api?page=1') ;

Guide pour éviter les pièges : ces détails ne tiennent pas compte des déchets de l'engagement

1. réglage du délai d'attenteIl est recommandé d'ajouter un délai d'attente dans la configuration de la recherche, et d'abandonner si vous n'obtenez pas de réponse pendant plus de 5 secondes.
2. Rotation de la période d'enquêteipipgo prend en charge le changement d'IP à la demande, n'oubliez pas d'ajouter le paramètre &change=1 après l'adresse du proxy.
3. Contrôle simultanéNe pas ouvrir 100 threads, utiliser la bibliothèque p-limit pour contrôler le nombre de threads simultanés.

Foire aux questions QA

Q : Ne puis-je pas utiliser un proxy gratuit ?
A : 8 proxies gratuits sur 10 ne fonctionnent pas, les pools d'IP exclusifs d'ipipgoDisponibilité 98%Le véritable test est plus que l'agent auto-construit pour économiser de l'argent.

Q : Dois-je modifier manuellement la configuration du proxy à chaque fois ?
R : Vous pouvez utiliser l'API d'ipipgo pour obtenir dynamiquement des serveurs mandataires, et il est recommandé d'utiliser redis pour effectuer des mises à jour automatiques du pool d'adresses IP.

Q : Comment résoudre le problème du backcrawl d'un site web ?
A : ipipgo'sIP à forte valeur ajoutée+ Combinaison UA aléatoire + délai de requête, testée pour contourner la plupart des protections de base.

Dites quelque chose qui vient du cœur.

J'ai déjà essayé de maintenir mon propre serveur proxy, et j'ai perdu la moitié de mes cheveux à cause du blocage d'IP et de la gigue du réseau. J'ai ensuite opté pour le service prêt à l'emploi d'ipipgo, et l'efficacité de mon développement a immédiatement décollé. En particulier, leurRoutage intelligentCette fonction, qui associe automatiquement les nœuds les plus rapides, est un véritable atout pour les projets qui nécessitent la collecte de nombreuses données.

Enfin, je voudrais rappeler que si l'IP proxy permet de réduire le risque de bannissement, la fréquence de la collecte doit être contrôlée. Il est recommandé de fixer des intervalles raisonnables en fonction du fichier robots.txt du site web cible.Ingénieur de l'Ethical CrawlerNon ?