Configuration de l'IP du proxy de Puppeteer : Tutoriel sur les paramètres du proxy de Puppeteer

Le marionnettiste joue la bonne posture de proxy IP

Les crawlers doivent savoir que le vieux fer, les outils d'automatisation de navigateur Puppeteer, bien que bon, mais pas un ensemble de proxy IP est comme courir nu sur le champ de bataille. Aujourd'hui, nous allons voir comment Puppeteer peut porter une bonne "armure de protection", en nous concentrant sur la façon d'utiliser le service proxy ipipgo pour travailler de manière régulière.

Configuration de base des trois axes

L'insertion d'un paramètre args dans la méthode de lancement lors du démarrage d'une instance de navigateur est la solution la plus simple. Notez que vous devez utiliser la méthode-serveur mandataireLes paramètres spécifient le type de protocole et l'adresse, et le format doit être complet et correct pour fonctionner :

const puppeteer = require('puppeteer') ;

(async () => {
  const browser = await puppeteer.launch({
    args : ['--proxy-server=http://用户名:密码@gateway.ipipgo.net:端口']
  }) ;
  // opérations suivantes...
})() ;

Voici un piège à éviter :Chaîne d'alias du type de protocole. Par exemple, le proxy Socks5 d'ipipgo doit être écrit comme socks5:// au début, et le proxy http doit être écrit comme http://. Si vous vous trompez dans l'en-tête du protocole, vous ne pourrez pas vous connecter au serveur en quelques minutes.

Il y a quelque chose à dire sur la transformation certifiée

Lorsque vous rencontrez des proxys qui requièrent une authentification par mot de passe, il est recommandé d'utiliser la méthode page.authenticate pour la gérer. C'est beaucoup plus sûr que d'écrire le mot de passe directement dans l'URL, en particulier lorsque l'on travaille dans une équipe dont les informations d'identification ne sont pas divulguées :

const page = await browser.newPage() ;
await page.authenticate({
  username : 'ipipgo account', password : 'Exclusive password', await page.
  password : 'Mot de passe exclusif'
}).

Si vous rencontrez un échec d'authentification, vérifiez d'abord l'optionDate d'expiration du compterépondre en chantantListe blancheLe proxy d'ipipgo est lié à l'utilisation de l'IP par défaut, n'oubliez pas d'ajouter l'IP publique locale en arrière-plan. Si vous utilisez un proxy résidentiel dynamique, il est recommandé d'activer la fonction de liste blanche automatique d'IP.

Guide pratique pour éviter la fosse

Voici quelques leçons sanglantes à partager :

1. Lors de l'ouverture de plusieurs pages, chaque page doit être authentifiée séparément.
2. En mode sans tête, le taux d'échec du proxy sera plus élevé, il est donc recommandé d'activer d'abord le débogage visuel !
3. Lorsque vous rencontrez des erreurs ETIMEDOUT, il est prioritaire de vérifier la marge du paquet proxy (ne riez pas, il y a vraiment des débutants qui font cette erreur).

Tableau de comparaison de la sélection des paquets

Questions fréquemment posées sur le déminage

Q : Je ne peux pas ouvrir la page web bien que le proxy soit connecté ?
R : Retirez d'abord le proxy pour tester le réseau de base, puis utilisez l'outil de test en ligne fourni par ipipgo pour mesurer l'état du proxy. Il se peut que le site web cible ait bloqué le segment IP résidentiel, essayez un autre nœud de pays.

Q : ERR_PROXY_CONNECTION_FAILED s'affiche ?
Le port proxy http ne peut pas se connecter au protocole socks5, et vice versa. Vérifiez les informations de connexion fournies par la console et faites attention à la casse des lettres.

Q : Comment réaliser un changement automatique de proxy ?
R : Il est recommandé d'utiliser l'API d'ipipgo pour obtenir dynamiquement le pool de proxy, ainsi que des outils tels que puppeteer-cluster pour effectuer la rotation. L'édition Enterprise prend en charge l'ajout de paramètres d'équilibrage de la charge à la chaîne de connexion afin de réaliser directement une commutation intelligente.

Enfin, lors de la configuration du proxyNe jamais faire appel à un agent libre.La première chose à faire est d'obtenir une bonne offre pour votre entreprise, et vous pourrez le faire. J'ai vu certaines personnes devenir trop gourmandes et perdre leur compte. Les forfaits résidentiels dynamiques d'ipipgo commencent à 7 $ pour 1G, ce qui est moins cher que de boire du thé au lait, il n'est donc pas nécessaire de prendre ce risque.