cURL代理使用示例: 命令行实战抓取教程

手把手教你用cURL挂代理抓数据

搞爬虫的老铁们应该都懂，直接裸奔访问网站分分钟就被封IP。这时候就得祭出代理IP这个神器了，今天咱们就拿命令行里的瑞士军刀cURL来示范，怎么用代理IP安全地薅数据。

先整点干货，ipipgo的代理服务器地址长这样：http://username:password@gateway.ipipgo.com:8020 把username和password换成自己账号的认证信息就行。这个地址记好了，待会要考。

在终端里敲命令的时候，加个-x参数就能挂代理。举个栗子：

curl -x http://user123:pass456@gateway.ipipgo.com:8020 https://target-site.com/data.json

这里要注意三个关键点：代理类型要选对（http/https/socks5）、端口别写错、认证信息别漏掉。要是返回407错误码，八成是账号密码填岔了。

参数	作用	示例值
-x / –proxy	指定代理服务器	http://user:pass@gateway.ipipgo.com:8020
-U / –proxy-user	单独设置认证信息	user:pass

假设要抓取某电商网站价格，先用ipipgo的测速接口挑个快的节点：

curl -x http://user:pass@gateway.ipipgo.com:8020 https://speedtest.ipipgo.com/latency

看到返回的响应时间在200ms以内，说明这个节点速度够用。接着上真家伙：

curl -x http://user:pass@gateway.ipipgo.com:8020 
-H "User-Agent: Mozilla/5.0" 
-L https://mall.com/product/12345 
-o price_data.html

划重点：记得加-L参数自动跟随重定向，-o保存结果到文件。要是遇到证书报错，可以加–insecure参数跳过验证，不过正式环境慎用。

Q：代理连不上咋整？
A：先ping下gateway.ipipgo.com看能不能通，再检查账号有效期。推荐用ipipgo的存活检测接口：https://status.ipipgo.com/checkip

Q：怎么切换不同地区IP？
A：在ipipgo控制面板选指定地域的接入点，比如要上海节点就用sh.gateway.ipipgo.com:8030，记得不同地区端口可能不一样。

Q：频繁被封怎么办？
A：在cURL命令里加–proxy-negotiate参数启用自动切换，配合ipipgo的动态轮转服务，每分钟自动换IP，实测过保活率能到98%以上。

1. 用–connect-timeout设个5秒超时，别傻等失效节点
2. 在~/.curlrc配置文件里写死代理参数，省得每次敲命令
3. 需要https代理时，记得把协议头改成https://
4. ipipgo的企业版支持API动态获取代理，适合需要海量IP池的场景

最后安利下，ipipgo最近上了按量付费套餐，新用户送5G流量试用。他们家的住宅代理质量确实顶，上次我同时开200个线程都没被封，做数据采集的老哥可以试试看。