Node.js爬取网站: 代理IP实现高效采集

把门卫换成变形金刚 – 代理IP防封原理

举个接地气的例子，网站就像个小区，每个访问者都有门牌号（IP地址）。当你连续十几次用同一个门牌号敲门（频繁请求），物业（反爬系统）就会把你当发传单的赶走。这时候要是能每天换不同的工作服+变脸（切换代理IP），保安就认不出是同一个人了。

去年有个做电商的朋友，爬竞品价格时被ban得没脾气。后来给爬虫装了个”变形装置”（代理IP池），第二天就采到了完整数据。这里有个关键点：别用免费代理，那些就像街边捡的假工作证，分分钟露馅。

手把手装”变身器” – Node.js实战配置

先准备个会变身的爬虫工具包，这里用axios-proxy做个演示。注意看这个配置细节，很多教程都漏说了：

const axios = require('axios');
const { HttpsProxyAgent } = require('https-proxy-agent');

// 这里换成你们自己的ipipgo账号信息
const proxyConfig = {
  host: 'gw.ipipgo.com', //别写错这个地址
  port: 9020,
  auth: '你的账号:密码' //记得冒号别用中文的
};

async function stealthCrawler(url) {
  try {
    const agent = new HttpsProxyAgent(`http://${proxyConfig.auth}@${proxyConfig.host}:${proxyConfig.port}`);
    
    const response = await axios.get(url, {
      httpsAgent: agent,
      timeout: 8000 //超时设短点，遇到卡顿马上换IP
    });
    
    return response.data;
  } catch (error) {
    console.log('抓到个异常，该换IP了:', error.message);
    // 这里可以接入ipipgo的自动更换接口
  }
}

注意看代码里的timeout参数，这个非常重要。有些代理节点可能会抽风，设个8秒超时能避免整个程序卡死。遇到超时就触发换IP机制，ipipgo的后台有自动切换API可以直接调用。

实战避坑指南

去年帮客户做图书价格监控时踩过这些雷：

• IP切换太规律：别整点准时换IP，加个随机延时（30-300秒）
• 请求头露马脚：记得带Referer和User-Agent，用ipipgo的浏览器指纹库
• 验证码突袭

  ：准备个打码平台备用，推荐用ipipgo的智能验证码破解服务