Puppeteer获取所有p标签: 代理IP实现自动化

当爬虫遇上验证码？试试这个组合拳

最近有个做电商的朋友跟我吐槽，他们用Puppeteer抓商品详情时老被识别成机器人。这情况我熟啊！去年帮人做比价工具时，三天两头就遇到IP被封的情况。后来发现了个绝招——给Puppeteer套上代理IP的铠甲，成功率直接翻倍。

const puppeteer = require('puppeteer');
const ipipgoProxy = 'http://user:pass@gateway.ipipgo.com:9021';

(async () => {
  const browser = await puppeteer.launch({
    args: [ `--proxy-server=${ipipgoProxy}` ]
  });
  const page = await browser.newPage();
  await page.goto('https://目标网站.com');
  
  const paragraphs = await page.$$eval('p', elements => 
    elements.map(el => el.innerText)
  );
  console.log(paragraphs);
  
  await browser.close();
})();

代理IP选型有讲究

市面上的代理服务五花八门，但用Puppeteer得特别注意三点：

之前用过ipipgo的动态住宅IP池，每请求自动换IP这个功能是真香。特别适合需要连续操作多个页面的场景，不用手动切换这点省老多事了。

实战避坑指南

上周帮客户做新闻采集时踩了个坑：明明用了代理，还是触发验证码。排查发现是浏览器指纹暴露了，后来加了这两个配置立竿见影：

const browser = await puppeteer.launch({
  headless: true,
  args: [
    '--disable-blink-features=AutomationControlled',
    `--proxy-server=${ipipgoProxy}`
  ]
});

记得在代码里随机设置User-Agent，ipipgo后台能直接下载现成的UA列表，这个细节处理得挺贴心。

常见问题急救包

Q：代理IP突然失效怎么办？
A：检查账号余额是否充足，建议开启ipipgo的自动续费功能。遇到紧急情况直接联系他们技术支持，响应速度比同行快半小时左右。

Q：同时开多个浏览器实例怎么分配IP？
A：用ipipgo的API动态获取IP池，每个实例分配独立代理。他们家的接口返回速度控制在200ms以内，实测比直接写死配置灵活得多。

效率提升小妙招

最近发现ipipgo后台有个智能路由功能，能自动选择延迟最低的节点。配合Puppeteer的请求拦截功能，加载速度提升40%不是梦：

await page.setRequestInterception(true);
page.on('request', request => {
  if(request.resourceType() === 'image') 
    request.abort();
  else 
    request.continue();
});

这个方法特别适合采集纯文本内容，把省下来的带宽用来维持代理连接稳定性，亲测有效。

说点掏心窝的话

用代理IP就像穿防护服，质量好坏直接影响存活率。经过多个项目实测，ipipgo在高并发场景下的表现确实稳，特别是他们的IP清洗算法，基本不会出现刚买的IP就被封的情况。最近双十一活动好像有7折优惠，需要续费的朋友可以去瞅瞅。