Capture d'écran de Puppeteer Web : Programme de capture d'écran de Puppeteer Agent

Tout d'abord, une capture d'écran de Puppeteer pour savoir comment construire un proxy ?

Récemment, certains de mes amis qui font de la capture de données m'ont demandé ce qu'il fallait faire si le site web cible bloquait toujours l'IP de la capture d'écran avec Puppeteer. C'est un peu comme si vous mangiez un plat chaud qui vous mettrait la gorge à vif, vous devez trouver le bon moyen de résoudre cette méthode épicée. Par exemple, si vous utilisez continuellement la même adresse IP pour faire des captures d'écran, le site web vous donnera immédiatement un"Visites suspectes"Les étiquettes, l'interdiction pure et simple, quoi qu'il arrive.

À ce stade, l'adresse IP du proxy équivaut àcape d'invisibilitéSi vous changez de vêtements à chaque fois que vous faites une capture d'écran, le site web ne vous reconnaîtra pas. Comme l'agent résidentiel dynamique ipipgo que nous utilisons couramment, chaque demande peut automatiquement changer d'adresse IP, et le changement de caisse du supermarché est également brutal.

Deuxièmement, l'opération proprement dite : marionnettiste portant une cape d'invisibilité

Tout d'abord, nous devons comprendre comment brancher l'IP du proxy dans Puppeteer. Voici un paramètre clé--proxy-serverC'est comme mettre un masque sur un navigateur :

const puppeteer = require('puppeteer') ;

async function screenshotWithProxy(url) {
  const browser = await puppeteer.launch({
    args : [
      '--proxy-server=http://用户名:密码@ipipgo proxy server address:port'
    ]
  }) ;

  const page = await browser.newPage() ;
  await page.goto(url) ; await page.screenshot({ url)
  await page.screenshot({chemin : 'exemple.png'}) ; await browser.close() ; await page.screenshot({chemin : 'exemple.png'})
  await browser.close() ; }
}

Notez qu'il y a un piège ici, de nombreux novices copient directement le code en ligne, et par conséquent, le code manquantl'authentificationLe service proxy d'ipipgo exige que le mot de passe du compte soit incorporé dans l'adresse proxy dans un format similaire à celui d'une adresse de courrier, qui doit être exacte au numéro de la porte.

Troisièmement, la porte de sélection de l'IP proxy

Il existe plusieurs types d'agents sur le marché, comparons-les dans un tableau :

Si vous faites des captures d'écran 24/7, Rift recommande les proxies résidentiels d'ipipgo. Leur pool d'IP est aussi grand qu'une piscine et ils attribuent de nouvelles IP à chaque demande, de sorte qu'il n'y a pas de crainte d'être bloqué.

IV. guide pour éviter le gouffre : 5 sites de renversement courants

1) Que faire si la capture d'écran échoue toujours ?
Tout d'abord, vérifiez si l'adresse du proxy est incorrecte, en particulier les deux points, la barre oblique et ces symboles. Il est recommandé de copier directement l'exemple de code fourni par ipipgo background, il est garanti qu'il n'est pas erroné.

2) Que dois-je faire si la page n'est pas entièrement chargée ?
Ajoutez un paramètre waitUntil après page.goto(), par exemple :
await page.goto(url, {waitUntil : 'networkidle2'}) ;
Cela équivaut à attendre que la page ait fini de se charger avant de prendre une capture d'écran.

3) Que se passe-t-il en cas de défaillance soudaine d'un proxy ?
Il se peut que l'adresse IP ait été retirée par le site web cible. C'est le moment d'activer la fonction de rotation automatique d'ipipgo, tout comme une voiture qui change de vitesse, toutes les quelques minutes pour passer automatiquement à une nouvelle IP.

V. Kit de premiers secours AQ

Q : Est-il possible d'utiliser une procuration gratuite ?
A : Jamais ! Les agents libres sont comme les toilettes dans les toilettes publiques, tout le monde les a utilisés. Avant qu'un ami n'évite les ennuis avec les agents gratuits, le résultat de la capture d'écran est plein de publicités pour les jeux d'argent, le site lui est directement bloqué.

Q : Comment les agents ipipgo sont-ils facturés ?
R : Il existe deux types de forfaits en fonction du débit et du nombre d'adresses IP. Si vous faites des captures d'écran et qu'il est nécessaire de changer fréquemment d'adresse IP, il est recommandé de choisir le nombre de paquets d'adresses IP, comme dans un buffet, et de changer au hasard sans douleur.

Q : Comment masquer les fonctions du marionnettiste lors des captures d'écran ?
R : Ajouter ces paramètres au démarrage :
args : ['--disable-blink-features=AutomationControlled']]
Combiné au proxy d'ipipgo, il se fait passer pour un navigateur normal.

Pour terminer, je dirai que faire des captures d'écran automatisées représente environ un quart d'heure de travail.caractère stableLa première chose à faire est de choisir le bon fournisseur de services proxy. Choisir le bon fournisseur de services proxy sera à moitié réussi, comme ipipgo peut fournir API extraction en temps réel du proxy, avec l'utilisation de la conduite d'une voiture à transmission automatique comme, économiser le cœur et l'effort. Si vous ne comprenez pas quelque chose, allez directement sur leur site officiel pour trouver le service clientèle, la vitesse de réponse est plus rapide que le livreur pour livrer la nourriture.