Java网页抓取器: Jsoup解析HTML实战教程

手把手教你用Jsoup搞网页抓取

甭管是搞数据采集还是做竞品分析，用Java撸个网页抓取器都是刚需。今天就拿Jsoup这个神器来说道说道，重点教大伙怎么用代理IP避免被网站拉黑。咱们的实战案例就用ipipgo家的代理服务，这家的动态IP池子真心稳。

Jsoup基础配置

先整明白怎么给Jsoup安上代理。关键得在Connection对象里塞代理参数，代码长这样：

Document doc = Jsoup.connect("目标网址")
               .proxy("proxy.ipipgo.io", 9020)
               .userAgent("Mozilla/5.0...")
               .timeout(30000)
               .get();

注意proxy方法里填的是ipipgo提供的网关地址和端口，他们家新用户能领到20M的免费流量包，测试阶段够用了。要是遇到SSL证书问题，记得在connection.sslSocketFactory()里配置下证书。

代理IP实战技巧

搞采集最怕啥？IP被封呗！这时候就得用代理IP池来轮换。咱们用ipipgo的随机分配模式，代码这么写：

String[] proxyPool = {"s1.ipipgo.io:9010","s2.ipipgo.io:9012"...};
Random rand = new Random();
Connection conn = Jsoup.connect(url)
                    .proxy(proxyPool[rand.nextInt(proxyPool.length)]);

ipipgo的住宅代理延迟基本控制在200ms以内，比那些机场代理靠谱多了。要是采集电商网站，记得设置请求间隔3-5秒，太频繁了神仙也救不了。

常见坑点避雷指南

新手最容易栽在这些地方：

1. 没设置User-Agent被识别成爬虫
2. 同一IP连续请求被拉黑
3. 动态加载数据没抓全

用ipipgo的长效静态IP配合Selenium就能搞定动态加载，具体操作是启动浏览器时挂代理：

System.setProperty("webdriver.chrome.proxy", "http://user:pass@s1.ipipgo.io:9010");

QA环节

Q：代理IP突然失效咋整？
A：赶紧检查ipipgo后台的套餐余量，他们家套餐用完会自动切换备用通道，如果还不行就联系客服换授权密钥。

Q：免费代理和付费代理差在哪？
A：拿ipipgo的体验版和商业版对比，商业版的IP存活时间多3倍，而且有专属的API提取接口，不会出现提取不到IP的尴尬。

Q：怎么测试代理IP是否匿名？
A：访问http://httpbin.org/ip，如果返回的是真实IP就说明代理没生效。用ipipgo的高匿代理绝对不会泄露本机信息。

性能优化大招

想要采集速度快，得玩转多线程。建议用线程池管理，每个线程配独立代理IP。这里有个小窍门：把ipipgo的API接口返回的IP列表存到阻塞队列，线程随用随取。

ExecutorService pool = Executors.newFixedThreadPool(10);
while(!urlQueue.isEmpty()){
   pool.execute(()->{
      String proxy = ipQueue.take();
      // 采集逻辑
   });
}

记得设置connection.timeout(15000)，超过15秒还没响应就果断放弃，换下一个IP接着干。

最后叨叨一句，用ipipgo的定制版SDK能省不少事，他们封装好了自动更换IP和异常重试机制。特别是做大规模采集时，比自己造轮子靠谱多了，毕竟专业的事还得专业的人来干。