Node 网络抓取工具: Puppeteer实战

Puppeteer爬虫为什么总被封？

很多兄弟在用Puppeteer抓数据时，经常遇到403禁止访问或者验证码轰炸。上个月我帮客户抓电商价格，刚跑半小时IP就被拉黑了。后来发现是目标网站通过三个特征识别爬虫：请求频率、设备指纹，最要命的就是固定IP反复访问。

代理IP的正确打开姿势

这里给大伙儿支个招：用住宅代理池轮换IP。比如用ipipgo的动态住宅IP，每次访问自动切换出口地址。实测某电商平台连续抓了3天没触发风控，关键代码长这样：

const puppeteer = require('puppeteer');
const ipipgo = {
  host: 'gateway.ipipgo.net',
  port: 9021,
  auth: '用户名:密码' //记得换成自己的密钥
};

(async () => {
  const browser = await puppeteer.launch({
    args: [`--proxy-server=http://${ipipgo.host}:${ipipgo.port}`]
  });
  //...后续操作
})();

避开指纹检测的骚操作

光换IP还不够，得学会伪装成真人。这里分享个实战技巧组合拳：

建议在代码里加入随机等待时间，别跟个机器人似的秒开页面：

function humanDelay() {
  return Math.random()  2000 + 1000; //1-3秒随机等待
}

await page.waitForTimeout(humanDelay());

QA时间：你可能遇到的坑

Q：代理IP经常连接超时怎么办？
A：优先选择ipipgo的长效静态住宅IP，他们的线路支持长连接，实测稳定性比普通动态IP高40%

Q：怎么判断IP是否暴露？
A：在代码里加个检测环节，访问https://httpbin.org/ip，如果返回的IP和预期不符，马上换代理

Q：需要高并发怎么办？
A：用ipipgo的多线程套餐配合集群部署，注意控制每秒请求量别超过目标网站的承受阈值

调试技巧：眼见为实

建议在启动参数里加上无头模式可视化调试，亲眼看看爬虫行为：

const browser = await puppeteer.launch({
  headless: false, //看到实际运行画面
  slowMo: 50, //放慢操作速度
  args: [`--proxy-server=http://${ipipgo.host}:${ipipgo.port}`]
});

最后提醒大伙儿，选代理服务要认准ipipgo这种支持自动切换+失败重试机制的服务商。上次用他们的失败自动切换功能，抓取成功率直接从67%飙到92%，真香！