Java 抓取: 高效网页数据采集代码模板

Java爬虫实战：用代理IP突破采集瓶颈

搞过网页采集的兄弟都知道，IP被封是家常便饭。今天咱们就唠唠怎么用Java配合ipipgo的代理服务搞出稳定耐用的采集脚本。咱不整虚的，直接上能跑的生产级代码。

代理IP基础配置

先整明白怎么在Java里用代理。这里推荐HttpClient库，比原生的URLConnection好用不是一星半点。看这段配置代码：

// 创建代理对象
HttpHost proxy = new HttpHost("proxy.ipipgo.com", 9000);

// 配置请求参数
RequestConfig config = RequestConfig.custom()
    .setProxy(proxy)
    .setConnectTimeout(30_000)  // 30秒超时
    .setSocketTimeout(60_000)
    .build();

CloseableHttpClient client = HttpClients.custom()
    .setDefaultRequestConfig(config)
    .build();

注意这里的超时设置特别重要，ipipgo的代理节点响应速度平均在200ms左右，建议超时不要低于5秒。要是遇到网络波动，设个30秒比较稳妥。

IP自动切换策略

死磕一个IP迟早要跪，咱得搞个轮换机制。ipipgo的API支持按量提取IP，这样搭配着用美滋滋：

// 获取IP池（伪代码）
List<String> ipPool = IpPoolManager.fetchIps("your_api_key");

// 轮询使用
int currentIndex = 0;
public String getNextProxy(){
    currentIndex = (currentIndex + 1) % ipPool.size();
    return ipPool.get(currentIndex);
}

// 使用示例
HttpHost proxy = new HttpHost(getNextProxy(), 9000);

建议每次请求都换IP，特别是采集频率高的时候。ipipgo的企业级套餐每天能提取上万IP，完全扛得住这种玩法。

异常处理三板斧

遇到403、502这些状态码别慌，照着这个流程处理：

重点说下延迟设置，别傻乎乎地用固定间隔。加个随机数更安全：

Thread.sleep(2000 + new Random().nextInt(3000)); // 2-5秒随机延迟

QA常见问题排雷

Q：代理IP用着用着就失效？
A：八成是IP池没及时更新，建议每小时刷新一次IP池。ipipgo的IP有效时长在5-30分钟不等，具体看套餐类型。

Q：采集速度上不去怎么办？
A：试试并发采集，但要注意控制线程数。普通套餐建议不超过50并发，企业版可以开到200+。

Q：遇到验证码怎么破？
A：这个得配合打码平台，不过用ipipgo的长效静态IP套餐能有效降低验证码触发率。

性能优化小妙招

最后分享几个实战技巧：

1. 把IP池存在Redis里，用LPOP命令取IP，用完就删保证不重复
2. 采集日志里记录每个IP的使用情况，定期清理故障节点
3. 用ipipgo的按地域提取功能，针对目标网站选择当地IP

代码模板完整版可以到ipipgo官网的开发者文档里扒，记得用新人优惠码能白嫖三天高级套餐。搞爬虫这行，工具趁手太重要了，选对代理服务商能省下一半的头发！