Node.js fetch请求: 代理IP实现后端采集

手把手教你用Node.js抓数据不封号

搞数据采集最头疼的就是目标网站的反爬机制，封起IP来那叫一个快。这时候就得靠代理IP来分摊风险，好比给每个爬虫任务都戴了不同面具。咱们今天就用Node.js的fetch搭配ipipgo代理服务，教大家怎么安全高效地薅数据。

const httpsProxyAgent = require('https-proxy-agent');

// 这里用ipipgo的动态住宅代理做示范
const proxyOptions = {
  host: 'gateway.ipipgo.com',
  port: 9021,
  auth: '用户名:密码'
};

const agent = new httpsProxyAgent(proxyOptions);

async function fetchWithProxy(url) {
  try {
    const response = await fetch(url, { agent });
    return await response.text();
  } catch (error) {
    console.log('抓取失败:', error.message);
    // 这里可以加个自动切换代理的逻辑
  }
}

代理IP到底怎么选才靠谱

市面上的代理服务五花八门，但做数据采集得看三个硬指标：

像ipipgo的智能路由代理有个好处，能根据目标网站自动匹配合适的IP类型。比如采集电商网站用移动IP，爬公开数据用机房IP，这样既省成本又不容易触发风控。

实战：电商价格监控系统

咱们举个真实案例，用代理IP做全网比价。关键是要处理好这几个环节：

// 配置代理池
const ipPool = [
  'http://user:pass@gateway.ipipgo.com:9021',
  'http://user:pass@gateway.ipipgo.com:9022',
  // 其他代理节点...
];

// 随机选代理
function getRandomAgent() {
  const proxy = ipPool[Math.floor(Math.random()  ipPool.length)];
  return new httpsProxyAgent(proxy);
}

// 采集任务加重试机制
async function monitorPrice(url, retries=3) {
  for(let i=0; i<retries; i++) {
    try {
      const html = await fetchWithProxy(url);
      // 解析价格逻辑...
      break;
    } catch(e) {
      console.log(`第${i+1}次尝试失败`);
    }
  }
}

为啥推荐ipipgo代理服务

用过大大小小十几家代理服务，最后锁定ipipgo主要是这几个原因：

1. IP存活时间长 – 他家住宅IP能持续用2-4小时，不像有些服务几分钟就掉线
2. 地理位置准 – 需要特定城市IP时特别管用
3. 失败率低 – 实测请求成功率能到98%以上
4. 有技术客服 – 遇到问题能快速响应，这点对项目很关键

常见问题QA

Q：代理突然失效怎么办？
A：建议设置失败自动切换机制，ipipgo后台也支持实时刷新IP池

Q：遇到验证码怎么处理？
A：适当降低采集频率，配合ipipgo的轮换IP功能，必要时上打码平台

Q：https网站采集要注意什么？
A：确保代理支持SSL连接，ipipgo的所有代理端口都默认开启加密传输

Q：怎么判断代理是否生效？
A：可以用这个检查接口：https://api.ipipgo.com/checkip，返回的IP变了就说明代理生效

最后提醒大家，数据采集要遵守网站规则。用好代理IP就像穿防护服，既保护自己也尊重对方，这样才能长期稳定地获取数据。需要测试代理服务的，可以去ipipgo官网领个试用套餐，新用户有免费额度可以体验。