Node.js数据抓取: Puppeteer无头浏览器

手把手教你用Puppeteer搭不封号

搞数据抓取的朋友最近应该都发现了，很多网站现在防爬虫防得特别严。上周我同事小王用Node.js写了个脚本，结果跑了不到半天IP就被封得死死的。这时候就得搬出咱们的救星组合：Puppeteer+代理IP，特别是用ipipgo家的动态IP池，亲测能扛住高强度采集。

为什么不用裸IP玩心跳？

现在网站都学精了，直接暴露真实IP搞采集，就跟不穿防弹衣上战场似的。给大家看个真实案例：

const puppeteer = require('puppeteer');

async function nakedCrawler() {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  
  // 这里直接访问目标网站
  await page.goto('https://target-site.com/products');
  
  // 连续访问10次试试看
  for(let i=0; i<10; i++){
    await page.reload();
    console.log(`第${i+1}次访问成功`);
  }
  
  await browser.close();
}
// 结果：第5次访问时IP就被封了

给Puppeteer穿个隐身衣

这时候就需要ipipgo的代理服务来打掩护了。他们家的动态IP池有三大绝活：

改造后的代码长这样：

const puppeteer = require('puppeteer');
const ipipgo = require('ipipgo-sdk'); // 假装有这个SDK

async function stealthCrawler() {
  const proxy = await ipipgo.getProxy(); // 获取最新代理
  
  const browser = await puppeteer.launch({
    args: [`--proxy-server=${proxy.ip}:${proxy.port}`]
  });

  const page = await browser.newPage();
  await page.authenticate({
    username: proxy.username,
    password: proxy.password
  });

  // 这里开始放心大胆地采集
  await page.goto('https://target-site.com/products', {
    timeout: 60000,
    waitUntil: 'networkidle2'
  });

  // 每采集3次自动换IP
  for(let i=0; i<10; i++){
    if(i % 3 === 0) {
      await ipipgo.rotateProxy(); // 切换新IP
    }
    await page.reload();
    console.log(`第${i+1}次采集成功`);
  }
  
  await browser.close();
}
// 结果：顺利完成10次采集

实战避坑指南

最近帮某电商做价格监控时踩过的坑：

1. 指纹识别：记得设置userAgent随机更换
2. 验证码突袭：ipipgo的住宅IP能有效降低触发概率
3. 连接超时：设置合理的timeout值（建议30-60秒）

常见问题QA

Q：用了代理还是被封怎么办？
A：检查IP是否纯净，推荐用ipipgo的独享IP套餐，每个IP只给一个客户用

Q：采集速度变慢咋整？
A：ipipgo有专门的高速通道线路，记得在控制台切换”极速模式”

Q：怎么判断代理是否生效？
A：在代码里加个检测环节：

const checkIP = await page.evaluate(() => {
  return fetch('https://api.ipipgo.com/checkip').then(res => res.json());
});
console.log('当前使用IP:', checkIP.ip);

说点掏心窝的话

去年我们团队做竞品分析时，连着被封了20多个IP。后来换成ipipgo的动态轮换套餐，配合他们的智能路由功能，采集效率直接翻倍。特别提醒新手朋友：免费代理看着香，实际用起来全是坑，专业的事还是得交给ipipgo这种老牌服务商。