Crawling Web Node.js : Navigateur sans tête Puppeteer

Formation pratique à l'utilisation de Puppeteer avec proxy IP

Les confrères engagés dans l'exploration du web comprennent que le mécanisme d'anti-escalade du site est de plus en plus difficile. La semaine dernière, j'ai aidé des clients à saisir les données du commerce électronique, et j'ai été bloqué par plus d'une douzaine d'IP, si bien que j'ai failli tomber en colère sur le clavier. En ce moment, l'IP proxy sera très utile, surtout avec le navigateur sans tête Puppeteer, c'est tout simplement un partenaire en or.

Commençons par un cas concret : une équipe s'occupe d'un site web de comparaison de prix qui récupère des milliers de pages de produits chaque jour. Au début, ils ont utilisé une IP locale pour se connecter directement au site, mais le site cible a été bloqué en moins de 3 heures. Plus tard, ils ont opté pour le proxy résidentiel dynamique d'ipipgo.Le taux de réussite des demandes est passé de 351 TP3T à 921 TP3T.c'est la valeur de l'IP proxy.

Pourquoi dois-je utiliser une adresse IP proxy ?

Les sites web sont aujourd'hui équipés de systèmes intelligents de contrôle des risques qui prennent en compte trois indicateurs principaux :

En particulier avec Puppeteer, un navigateur qui charge des JS, il est plus facile de déclencher le mécanisme anti-escalade. La semaine dernière, un client n'a pas accroché de proxy, il a ouvert le mode headless en accès direct, les résultats sont les suivantsLes caractéristiques automatisées ont été identifiées en 10 minutesl'ensemble du segment IP est bloqué.

Tutoriel de configuration en situation réelle (cliquez ici)

L'accrochage d'un agent dans Puppeteer se fait en deux étapes :

1) Installer les librairies nécessaires (ne pas utiliser cnpm, c'est facile de s'attirer des ennuis) :

npm install puppeteer --save

2) Démarrer le navigateur avec le paramètre proxy (prendre ipipgo comme exemple) :

const puppeteer = require('puppeteer') ;

async function run() {
  const browser = await puppeteer.launch({
    args : [
      '--proxy-server=http://user:pass@gateway.ipipgo.com:9020'
    ]
  }) ;
  // Suivi...
}

Voici un piège à éviter : le format de l'adresse proxy d'ipipgo est le suivantgateway.ipipgo.com:numéro de portLes informations d'authentification se trouvent dans la console. Il est recommandé de stocker le mot de passe du compte dans une variable d'environnement, ne soyez pas stupide et écrivez-le à mort dans le code.

Scène de renversement courante AQ

Q : Que dois-je faire si je ne peux pas me connecter à l'agent ?
R : Vérifiez d'abord les paramètres de la liste blanche ; s'il s'agit de l'autorisation de l'IP du terminal, n'oubliez pas de lier l'IP du serveur dans le backend ipipgo ; s'il s'agit de l'authentification du secret de compte, faites attention aux caractères spéciaux qui doivent être encodés dans l'URL.

Q : Pourquoi la page se charge-t-elle plus lentement ?
R : Sélectionnez des nœuds pour examiner l'emplacement géographique, par exemple en capturant le site des États-Unis avec l'agent résidentiel nord-américain d'ipipgo. N'essayez pas d'être bon marché et d'utiliser un proxy gratuit, la vitesse est lente et instable.

Q : Comment puis-je empêcher le suivi des empreintes digitales ?
R : Le paquet avancé d'ipipgo avec camouflage de l'empreinte digitale du navigateur, ainsi que le plugin STEALTH-PLUGIN de Puppeteer, ont été personnellement testés pour contourner la détection de Cloudflare.

Mon plan de configuration privé

Partager une combinaison de paramètres qui a fait ses preuves :

const browser = await puppeteer.launch({
  headless : 'new', // utilise la nouvelle version du mode headless
  args : [
    '--proxy-server=http://user:pass@gateway.ipipgo.com:9020',
    '--disable-blink-features=AutomationControlled',
    '--no-sandbox'
  ],
  ignoreHTTPSErrors : true // ignore les erreurs de certificat
}) ;

N'oubliez pas de définir User-Agent dans l'objet de la page, l'API d'ipipgo peut directement obtenir la liste réelle des UA de chaque région. Cette configuration fonctionne depuis une quinzaine de jours sans être bloquée, ce qui répond aux besoins d'une scène de crawling stable à long terme.

Quelle formule d'agent dois-je choisir ?

Sélectionné en fonction des besoins de l'entreprise :

• Tests à court terme : paiement à l'utilisation avec ipipgo, à partir de 0,50 $/Go
• Projet à long terme : acheter une adresse IP résidentielle dynamique de qualité professionnelle avec prise en charge de la mise en attente de la session
• Sites web difficiles : utilisez leur logiciel de navigation à empreintes digitales personnalisé

Le dernier mot : ne pas économiser le budget sur le proxy IP. Avant un client avide pas cher avec proxy gratuit, le résultat des données détournées par l'intermédiaire, le site n'a pas attrapé mais fuit les données de l'utilisateur, a perdu une femme et perdu des troupes. Utilisez ipipgo ce fournisseur de services réguliers, cher est cher, mais se soucier de la sécurité ah.