golang implement ip proxy: net/http library and custom Transport details

当爬虫遇上反爬：手把手教你用Golang玩转代理IP

各位搞数据抓取的弟兄们应该都懂，目标网站的反爬机制就像牛皮糖一样甩不掉。今天咱们就唠唠怎么用Golang的net/http库搭配自定义Transport，让代理IP成为你的”隐身战衣”。

Transport才是幕后操盘手

很多人只知道http.Client，其实真正控制网络请求的是Transport这个老哥。它就像快递公司的调度中心，决定你的包裹（请求）走哪条路线（代理）。咱们先搞个最简单的代理设置：

proxyUrl, _ := url.Parse("http://用户名:密码@gateway.ipipgo.com:8080")
transport := &http.Transport{
    Proxy: http.ProxyURL(proxyUrl),
    TLSClientConfig: &tls.Config{InsecureSkipVerify: true}, // 跳过证书验证
}
client := &http.Client{Transport: transport}

Pay attention here.用户名密码别写死在代码里，用环境变量才是老司机的做法。比如通过os.Getenv(“PROXY_AUTH”)获取认证信息，这样换代理的时候不用重新编译代码。

动态IP池的花式操作

单用一个代理IP容易被封，咱们得学会轮换大法。这里推荐ipipgo的动态住宅套餐，他们家的IP池够大，9000多万个住宅IP随便换。配合这个代码实现自动切换：

type rotatingTransport struct {
    proxies []url.URL
    mutex   sync.Mutex
}

func (t rotatingTransport) RoundTrip(req http.Request) (http.Response, error) {
    t.mutex.Lock()
    proxy := t.proxies[0]
    t.proxies = append(t.proxies[1:], proxy) // 轮转切片
    t.mutex.Unlock()
    
    transport := &http.Transport{Proxy: http.ProxyURL(proxy)}
    return transport.RoundTrip(req)
}

这个自定义Transport实现了IP自动轮换，每次请求都换个出口。建议把ipipgo的API集成进来，实时获取新鲜IP，这样反爬系统根本摸不清你的套路。

异常处理的三板斧

用代理最头疼的就是各种网络幺蛾子，这里教大家几个保命招数：

特别提醒：遇到403别急着换IP，先用这个代码检测下代理是否生效：

resp, err := client.Get("https://api.ipipgo.com/checkip")
defer resp.Body.Close()
body, _ := io.ReadAll(resp.Body)
fmt.Println("当前出口IP:", string(body)) 

Practical QA Selection

Q：代理速度慢得像蜗牛怎么办？
A：优先选支持SOCKS5协议的代理，比HTTP快30%以上。ipipgo的企业版套餐自带智能路由，能自动选最优节点。

Q：需要固定IP做登录态保持咋整？
A：用ipipgo的静态住宅代理，同一个IP最长能保持24小时。代码里记得设置Transport.MaxConnsPerHost控制连接数。

Q：高并发场景下总是报错？
A：调整Transport的MaxIdleConns参数，建议设为并发数的2倍。如果是采集海外网站，直接上ipipgo的跨境专线，延迟能压到2ms以内。

最后给个忠告：别用免费代理！轻则数据泄露，重则被封号。像ipipgo这种正规服务商都有trial package，新用户送5G流量，够测试用了。他们的代理服务器自带失败重试机制，代码里不用再写复杂的重试逻辑，这才是真正的省心之选。