Java网站抓取: Jsoup解析HTML教程

搞爬虫被网站封IP？试试这个保命技巧

最近帮朋友抓某电商平台价格数据，结果才抓了300条IP就被封了。这年头做爬虫的，不会用代理IP简直就像裸奔上战场。今天咱们就唠唠怎么用Java的Jsoup库抓数据，重点讲讲怎么用ipipgo的代理服务保平安。

Jsoup基础操作三件套

先上段最基础的代码热热身：

// 记得先导包！
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class BasicCrawler {
    public static void main(String[] args) throws Exception {
        Document doc = Jsoup.connect("https://目标网站.com")
                          .timeout(5000)
                          .get();
        System.out.println(doc.title());
    }
}

这段代码的问题就像秃子头上的虱子——明摆着。直接暴露真实IP，不出半小时准被封。这时候就该ipipgo的代理IP上场了。

代理IP的正确打开方式

在代码里加代理其实比煮泡面还简单，关键得用对姿势。看好了：

// 重点看这里！
public class ProxyDemo {
    public static void main(String[] args) {
        // 从ipipgo获取的代理信息
        String proxyHost = "gateway.ipipgo.com";
        int proxyPort = 9021;
        String username = "你的账号";
        String password = "你的密码";

        try {
            Document doc = Jsoup.connect("https://目标网站.com")
                              .proxy(proxyHost, proxyPort)
                              .timeout(10000)
                              .header("Proxy-Authorization", "Basic " + 
                                  Base64.getEncoder().encodeToString(
                                      (username+":"+password).getBytes()))
                              .get();
            System.out.println("成功隐身！页面标题：" + doc.title());
        } catch (Exception e) {
            System.err.println("翻车了！错误信息：" + e.getMessage());
        }
    }
}

这里有几个避坑要点：

• 超时时间别抠门，建议8秒起步
• 记得处理SSL证书问题（可以加.ignoreHttpErrors(true)）
• IP池要够大，建议用ipipgo的动态住宅代理

实战：抓取电商价格数据

假设要抓某东的商品价格，HTML结构是这样的：

<div class="price">
  <span class="main-price">￥2999</span>
  <span class="discount">满减500</span>
</div>

对应的Java代码：

Elements prices = doc.select(".price .main-price");
for (Element price : prices) {
    System.out.println("当前价格：" + price.text().replace("￥", ""));
}

这时候如果不用代理，分分钟被识别成爬虫。用ipipgo的智能轮换代理功能，自动切换IP，比手动换IP省事多了。

常见问题QA

Q：代理IP用着用着失效了咋整？
A：这种情况八成是IP被目标网站拉黑了。建议：
1. 检查请求频率是否过高
2. 改用ipipgo的动态住宅代理套餐
3. 增加失败重试机制

Q：Jsoup怎么设置请求头？
A：在.connect()之后链式调用：
.header(“User-Agent”, “Mozilla/5.0…”)
.header(“Accept-Language”, “zh-CN”)

Q：ipipgo的代理套餐怎么选？
A：根据业务场景来：

防封策略大礼包

光靠代理还不够，得配上这些组合拳：

• 随机睡眠时间（0.5-3秒）
• 更换User-Agent
• 模拟鼠标移动轨迹（用Selenium）
• 定期清理cookie

最后说句掏心窝的话：做爬虫这行，稳定可靠的代理IP就是你的第二条命。自己折腾代理服务器费时费力，不如直接用ipipgo这类专业服务，省下来的时间多陪陪家人不香吗？