Golang HTML解析器：Go语言解析HTML

当爬虫遇上防封机制怎么办？

做数据采集的老铁们都知道，目标网站的反爬机制就像夏天的蚊子——防不胜防。昨天还能正常访问的页面，今天突然给你弹个验证码，或者直接封IP。这时候就需要给程序穿个马甲，而代理IP就是最好的隐身衣。

举个栗子，用Golang写爬虫时，如果总用同一个IP疯狂请求，服务器分分钟拉黑你没商量。好比去食堂打饭，要是你一个人连续插队十几次，阿姨肯定要拿饭勺敲你脑壳。

// 基础请求示例（作死写法）
resp, err := http.Get("https://target-site.com/data")
// 这么搞第二天IP就进黑名单

Go语言解析HTML的正确姿势

处理HTML解析推荐用goquery这个库，比官方自带的解析器更顺手。就像用筷子吃面条，总比用手抓来得方便。安装方法很简单：

go get github.com/PuerkitoBio/goquery

实战中配合代理IP使用效果更佳，这里演示怎么把ipipgo的代理服务整合到代码里：

func fetchWithProxy(url string) (goquery.Document, error) {
    // 从ipipgo获取的代理地址
    proxyUrl, _ := url.Parse("http://user:pass@proxy.ipipgo.com:9023")
    
    client := &http.Client{
        Transport: &http.Transport{Proxy: http.ProxyURL(proxyUrl)},
        Timeout:   15  time.Second,
    }

    resp, err := client.Get(url)
    if err != nil {
        return nil, err
    }
    defer resp.Body.Close()

    return goquery.NewDocumentFromReader(resp.Body)
}

防封实战技巧手册

这里给大伙儿列几个保命绝招：

常见问题排雷指南

Q：代理IP用几次就失效？
A：这种情况建议使用ipipgo的动态住宅代理，他们的IP池每天更新20万+新鲜IP，比菜市场的蔬菜还新鲜。

Q：HTTPS网站解析失败？
A：在Transport里加上TLS配置，像这样：

Transport: &http.Transport{
    Proxy: http.ProxyURL(proxyUrl),
    TLSClientConfig: &tls.Config{InsecureSkipVerify: true},
}

Q：怎么判断代理是否生效？
A：在代码里加个IP检测步骤，比如访问http://ip.ipipgo.com/checkip，返回的IP要是代理地址就说明成功了。

让程序学会七十二变

最后给个进阶建议：把ipipgo的API接入到错误重试机制里。当程序检测到请求失败时，自动调用他们的接口获取新IP，像变色龙一样随时切换身份。这样就算目标网站有火眼金睛，也认不出你的爬虫真身。

这里有个自愈型爬虫的伪代码逻辑：

for retry := 0; retry < 3; retry++ {
    doc, err := fetchWithProxy(url)
    if err == nil {
        break
    }
    // 自动更换ipipgo的代理节点
    updateProxy()
    time.Sleep(2  time.Second)
}

记住，好的爬虫要学会打游击战，ipipgo的百万级IP池就是你的弹药库。别再用免费代理了，那些IP早被玩烂了，跟公共厕所的马捅似的，谁都用过，根本藏不住你的踪迹。