Le marionnettiste obtient tous les p-tags : proxy IP pour l'automatisation

Quand les robots d'indexation rencontrent les CAPTCHA ? Essayez cette combinaison

Récemment, un ami qui travaille dans le secteur du commerce électronique s'est plaint que lorsqu'il utilise Puppeteer pour saisir les détails d'un produit, il est toujours reconnu comme un robot. Je connais bien cette situation ! L'année dernière, alors que j'aidais quelqu'un à créer un outil de comparaison de prix, j'ai été confronté à une situation où l'IP était bloquée tous les trois jours. J'ai alors trouvé une astuce -Mise en place d'un blindage IP Proxy sur le marionnettisteLe taux de réussite est directement doublé.

const puppeteer = require('puppeteer') ;
const ipipgoProxy = 'http://user:pass@gateway.ipipgo.com:9021' ;

(async () => {
  const browser = await puppeteer.launch({
    args : [ `--proxy-server=${ipgoProxy}` ]
  }) ;
  const page = await browser.newPage() ;
  await page.goto('https://目标网站.com') ;

  const paragraphs = await page.$$eval('p', elements =>
    elements.map(el => el.innerText)
  ) ;
  console.log(paragraphs) ;

  await browser.close() ;
})().

Sélection de l'IP proxy avec précaution

Il existe toutes sortes de services proxy sur le marché, mais vous devez prêter une attention particulière à trois choses avec Puppeteer :

J'ai déjà utilisé ipipgo.Pool IP résidentiel dynamiqueLa fonction de changement automatique d'IP à la demande est très intéressante. Elle est particulièrement adaptée à la nécessité de faire fonctionner en permanence plusieurs pages de la scène, sans avoir à changer manuellement ce point, ce qui permet d'économiser beaucoup de choses.

Guide pratique pour éviter la fosse

La semaine dernière, je suis tombé dans un piège en aidant un client à collecter des informations : j'ai évidemment utilisé un proxy, mais le CAPTCHA s'est quand même déclenché. J'ai découvert que les empreintes digitales du navigateur étaient exposées, puis j'ai ajouté ces deux configurations pour obtenir un effet immédiat :

const browser = await puppeteer.launch({
  headless : true,
  args : [
    '--disable-blink-features=AutomationControlled',
    ` --proxy-server=${ipipgoProxy}`
  ]
}) ;

N'oubliez pas de rendre les paramètres aléatoires dans le codeUser-AgentLe backend d'ipipgo peut télécharger directement des listes d'UA prêtes à l'emploi, ce qui est un détail assez intéressant à gérer.

Questions fréquemment posées Trousse de premiers secours

Q : Que dois-je faire si mon IP proxy tombe soudainement en panne ?
R : Vérifiez que le solde du compte est suffisant, et il est recommandé d'activer la fonction de renouvellement automatique d'ipipgo. Contactez directement leur support technique en cas d'urgence, la vitesse de réponse est environ une demi-heure plus rapide que celle des homologues.

Q : Comment attribuer des adresses IP à plusieurs instances de navigateur ouvertes en même temps ?
R : Utilisez l'API d'ipipgo pour obtenir dynamiquement des pools d'IP et assigner des proxies indépendants à chaque instance. Leur interface renvoie un contrôle de vitesse en 200ms, mesuré plutôt que d'écrire directement une configuration morte beaucoup plus flexible.

Conseils pour améliorer l'efficacité

Récemment, j'ai découvert qu'ipipgo avait un backendRoutage intelligentqui sélectionne automatiquement le nœud présentant la latence la plus faible. Avec la fonction d'interception des requêtes de Puppeteer, l'augmentation de la vitesse de chargement de 40% n'est pas un rêve :

attend page.setRequestInterception(true) ;
page.on('request', request => {
  if(request.resourceType() === 'image')
    request.abort() ;
  request.abort() ; else
    request.continue() ;
}) ;

Cette méthode est particulièrement adaptée à la collecte de contenus en texte clair, afin d'économiser la bande passante utilisée pour maintenir la stabilité de la connexion proxy, testée efficace.

Dites quelque chose qui vient du cœur.

Utiliser un proxy IP, c'est comme porter une combinaison de protection, la bonne ou la mauvaise qualité affecte directement le taux de survie. Après plusieurs projets à tester, ipipgo dans lescénario de forte concurrenceLes performances sont vraiment solides, en particulier leur algorithme de nettoyage d'IP, il n'y a pas de cas d'IP achetées qui sont bloquées. Le récent événement "double eleven" semble offrir une réduction de 30 %, les amis qui ont besoin de renouveler leur abonnement peuvent aller jeter un coup d'œil.