NodeJS抓取: Puppeteer无头浏览器实战

当爬虫遇上反爬：普通IP被限速怎么办？

搞爬虫的老司机都懂，现在网站的反爬机制越来越变态。上周用自己家宽带IP抓数据，刚开始还挺顺溜，结果第二天直接给我拉黑名单了。这时候就得搬出咱们的救星——动态代理IP池。好比打游戏开小号，每次请求换个新身份，让反扒系统摸不着规律。

这里插个硬广（老板要求的）：ipipgo的短效代理池实测特管用，5分钟自动换IP，支持http/https/socks5三种协议。关键是全国200+城市机房节点，想伪装成哪里的用户都行。下面咱们用NodeJS+Puppeteer搞个实战。

Puppeteer基础配置踩坑记

先装个puppeteer-extra和隐身插件，别用原生库。这里有个坑：chromium默认会暴露headless特征，得加几个参数来伪装：

const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());

async function launchBrowser() {
  const browser = await puppeteer.launch({
    headless: "new",
    args: [
      '--disable-web-security',
      '--proxy-server=http://username:password@proxy.ipipgo.com:9020', 
      '--lang=zh-CN',
      '--disable-blink-features=AutomationControlled'
    ]
  });
  return browser;
}

注意proxy-server参数格式，ipipgo的用户名密码要替换成自己的。这里有个骚操作：在args里直接挂代理，比在page里设置更稳定。

IP轮换策略生死局

光挂代理还不够，得学会智能切换IP。建议设置双重保险：

实战代码片段：

let retryCount = 0;
async function safeVisit(url) {
  try {
    await page.goto(url, {timeout: 60000});
    retryCount = 0;
  } catch (e) {
    if(retryCount++ >= 3) {
      await rotateProxy(); // 调用ipipgo的API换IP
      retryCount = 0;
    }
  }
}

实战：电商价格监控脚本

以某电商平台为例（不写具体名字），需要抓取商品价格。这里有个反反爬技巧：先用代理IP访问商品列表页，再用真实IP查详情页。因为列表页风控严，详情页相对宽松。

配置ipipgo的按需计费套餐最划算，把80%的代理流量用在风控严的环节。记得开启他们的智能路由功能，自动选择延迟最低的节点。

你问我答环节

Q：代理IP经常连接超时咋整？
A：八成是用了公共代理池。换成ipipgo的独享带宽线路，后台开启TCP长连接复用，能降60%的超时率。

Q：遇到人机验证怎么破？
A：别硬刚，立刻切换IP的同时修改浏览器指纹。ipipgo的多协议支持可以混用socks5和http代理，增加伪装多样性。

Q：需要高并发怎么搞？
A：用他们的端口聚合技术，单个账号可同时发起500+连接。记得配合puppeteer-cluster做分布式调度，别把nodejs进程撑爆了。

最后唠叨一句：现在很多网站用IP行为分析，光换IP不够，还要控制访问频率。把ipipgo的请求间隔策略和浏览器的随机延迟结合起来用，才能长期稳定跑数据。