Puppeteer utilise des agents : Guide de configuration NodeJS

Formation pratique à l'utilisation de Puppeteer pour accrocher des proxies

Les vieux briscards engagés dans les crawlers savent que de nombreux sites sont désormais ajoutés au mécanisme anti-escalade. Cette fois, il faut utiliser une IP proxy pour masquer l'adresse réelle, sinon elle sera bloquée en quelques minutes. Aujourd'hui, nous allons prendre l'exemple du marionnettiste le plus en vogue dans le cercle NodeJS, et vous apprendre àl'attribution correcte des valeursProxy (oh oui, le mot "configure" est toujours une faute de frappe, lisez-le).

Pourquoi ai-je besoin d'un agent pour le marionnettiste ?

Par exemple, si vous envoyez un coursier (Puppeteer) pour effectuer une livraison (visiter un site web) et que le même coursier est toujours envoyé, la station (le site web cible) aura des soupçons. C'est à ce moment-là que vous devezGilet de coursier d'ipipgoLe système d'information de l'Union européenne (UE) permet de changer de vêtements (adresse IP) à chaque fois que l'on veut effectuer une livraison.

const puppeteer = require('puppeteer') ;

async function run(){
  const browser = await puppeteer.launch({
    args : ['--proxy-server=http://username:password@ipipgo-proxy-server:port']
  }) ;
  // Fonctionnement normal plus tard...
}

La bonne posture pour les agents certifiés

De nombreux débutants sont bloqués à l'étape de l'authentification de l'agent. Voici une astuce cachée : utilisez la fonctionMéthode .authenticate()C'est plus sûr que d'écrire le mot de passe directement dans l'URL. Ceci est particulièrement recommandé lors de l'utilisation du proxy privé d'ipipgo :

const page = await browser.newPage() ;
await page.authenticate({
  username : 'Numéro de compte qui vous a été attribué par ipipgo', password : 'Mot de passe exclusif', 'Mot de passe', 'Mot de passe', 'Mot de passe', 'Mot de passe', 'Mot de passe')
  mot de passe : 'Mot de passe exclusif'
}).

Comment jouer avec les IP dynamiques ?

L'IP statique est facilement bloquée, il est recommandé d'utiliser l'IPgo.Pool IP résidentiel dynamique. Leur API obtient la dernière IP en temps réel, et un exemple de modèle est donné ici :

const { getProxy } = require('ipipgo-sdk') ; // prétend avoir le SDK
const currentProxy = await getProxy({
  type : 'https', country : 'us'
  country : 'us'
}) ; }
// Remplir currentProxy dans la configuration du proxy...

Pièges courants AQ

Q : La configuration du proxy est réussie mais elle ne prend pas effet ?
R : ne vous précipitez pas pour jurer, quatre-vingt pour cent des informations d'authentification sont mal remplies. Avec les mots ipipgo, faites attention à leurLes mots de passe sont générés dynamiquementNe copiez pas directement le courriel.

Q : Comment améliorer la stabilité des agents ?
R : Le véritable test met à l'épreuve les compétences du marionnettiste.Mode sans tête désactivé.Il est possible de voir le processus de demande en cours. Il est recommandé d'utiliser les services d'ipipgoIP statique de longue duréeleur taux de survie peut atteindre 95% ou plus.

Q : Pourquoi recommandez-vous ipipgo ?
R : Disons qu'avant de faire appel à d'autres agents, nous avons souvent rencontré des problèmes d'accès à l'information.Le PI est décédé subitement d'une mort violente.Après le passage à ipipgo, leurSystème de routage intelligentIl commute automatiquement le nœud défaillant et vous pouvez également sélectionner l'IP du centre de données ou l'IP résidentiel en fonction du type d'entreprise.

Conseils en matière de froid à ajouter

Enfin, j'aimerais vous faire part d'une action savoureuse : dans Puppeteer, vous pouvez utiliser à la fois la fonctionPlusieurs adresses IP de proxy. Il doit être associé à celui d'ipipgo.service multicanalLa mise en œuvre du code est en fait simple pour les voleurs :

const proxies = await ipipgo.getBatch(5) ; // prendre 5 IP à la fois
proxies.forEach(async (proxy) => {
  const context = await browser.createIncognitoBrowserContext({
    proxy : `http://${proxy.ip}:${proxy.port}`
  }) ;
  // IP séparée pour chaque fenêtre incognito...
}) ;

Ce qui précède est l'expérience résumée de la bataille actuelle. Pour être honnête, le choix du bon fournisseur de services proxy peut vous épargner la moitié des efforts. Comme ipipgo, vous pouvezChangement automatique d'adresse IPetGrand choix de régionsLe service est vraiment plus inquiétant que le pool d'agents auto-construit. En particulier lors de la collecte de données à grande échelle, la stabilité de cette partie du système est menacée.