Node.js网页抓取: Puppeteer无头浏览器

手把手教你用Puppeteer配代理IP

搞网页抓取的兄弟都懂，现在网站反爬机制越来越难缠。上周我帮客户抓电商数据，连着被封了十几个IP，气得差点摔键盘。这时候代理IP就派上用场了，特别是配合Puppeteer这种无头浏览器，简直就是黄金搭档。

先说个真实案例：有个做比价网站的团队，每天要抓上千个商品页面。他们最开始用本地IP直连，结果不到3小时就被目标网站拉黑。后来换成ipipgo的动态住宅代理，请求成功率直接从35%飙到92%，这就是代理IP的价值。

为什么必须用代理IP？

现在网站都装了智能风控系统，主要看三个指标：

特别是用Puppeteer这种会加载JS的浏览器，更容易触发反爬机制。上周有个客户没挂代理，开着无头模式直接访问，结果10分钟就被识别出自动化特征，整个IP段都被封了。

实战配置教程（重点看这里）

在Puppeteer里挂代理其实就两步：

1. 安装必备库（别用cnpm，容易出幺蛾子）：

npm install puppeteer --save

2. 启动浏览器时加代理参数（以ipipgo为例）：

const puppeteer = require('puppeteer');

async function run() {
  const browser = await puppeteer.launch({
    args: [
      '--proxy-server=http://user:pass@gateway.ipipgo.com:9020'
    ]
  });
  // 后续操作...
}

这里有个坑要注意：ipipgo的代理地址格式是gateway.ipipgo.com:端口号，认证信息在控制台都能找到。建议把账号密码存在环境变量里，别傻乎乎地写死在代码里。

常见翻车现场QA

Q：代理连不上咋整？
A：先检查白名单设置，如果是终端IP授权，记得在ipipgo后台绑定服务器IP。如果是账密验证，注意特殊字符要URL编码。

Q：为什么页面加载变慢了？
A：选节点要看地理位置，比如抓美国网站就用ipipgo的北美住宅代理。别图便宜用免费代理，速度慢还不稳定。

Q：怎么防止指纹追踪？
A：ipipgo的进阶套餐带浏览器指纹伪装功能，配合Puppeteer的stealth-plugin插件，亲测能绕过Cloudflare检测。

我的私藏配置方案

分享个实战验证过的参数组合：

const browser = await puppeteer.launch({
  headless: 'new', // 用新版本无头模式
  args: [
    '--proxy-server=http://user:pass@gateway.ipipgo.com:9020',
    '--disable-blink-features=AutomationControlled',
    '--no-sandbox'
  ],
  ignoreHTTPSErrors: true // 跳过证书错误
});

记得在page对象里设置User-Agent，ipipgo的API可以直接获取各地区的真实UA列表。这个配置跑了两周没被封，适合需要长期稳定抓取的场景。

该选什么代理套餐？

根据业务需求选：

• 短期测试：用ipipgo的按量付费，0.5刀/GB起
• 长期项目：买企业级动态住宅IP，支持会话保持
• 高难度网站：上他们的定制指纹浏览器套餐

最后说句掏心窝的话：别在代理IP上省预算。之前有个客户贪便宜用免费代理，结果数据被中间人劫持，网站没抓成反倒泄露了用户数据，赔了夫人又折兵。用ipipgo这种正规服务商，贵是贵点，但省心安全啊。