
手把子教你用curl玩转带密码的代理IP请求
搞爬虫的朋友最怕啥?刚采集两分钟IP就被封了呗!这时候代理IP就是你的救命稻草。今天咱们就拿最常见的curl命令开刀,说说怎么带着账号密码通过代理访问网站。
别被基础认证吓趴下
很多网站就像游乐园的检票口,得拿用户名+密码当门票。用curl的话,记住这个万能格式:
curl -U "账号:密码" http://目标网址
但注意!这相当于把密码明码写在脸上,要是用代理的话…(后面有妙招)
代理IP的正确打开姿势
以ipipgo的代理为例(他家代理带鉴权的),你得把认证信息揉进代理地址:
curl -x http://用户名:密码@proxy.ipipgo.cn:8080 http://目标网站
重点来了!用户名密码别用特殊符号,特别是@和这些,分分钟让你的请求原地爆炸。
实战:爬虫老司机操作指南
假设你买了ipipgo的短效套餐,要采集某电商网站价格:
curl -x http://vipuser:8k9d!m2@proxy.ipipgo.cn:3128
-H "User-Agent: Mozilla/5.0"
https://target-site.com/products
注意这三点:
| 坑位 | 避坑指南 |
|---|---|
| SSL证书 | 加个 -k 参数跳过验证 |
| 超时设置 | –connect-timeout 30 保平安 |
| 自动重试 | –retry 3 更耐用 |
常见翻车现场急救包
Q:代理连不上咋整?
A:先拿这个命令测网络:telnet proxy.ipipgo.cn 3128,要看到Connected字样
Q:老是提示证书错误?
A:在curl最后加-k参数,但敏感操作别用这招
Q:ipipgo哪个套餐最划算?
A:做爬虫用动态住宅代理,搞注册选长效静态IP,新用户首单打7折记得用优惠码IPGO7
高手私藏小技巧
1. 把代理配置写进~/.curlrc文件,省得每次敲命令:
proxy = http://用户:密码@proxy.ipipgo.cn:端口
2. 需要换代理IP时,用ipipgo的API接口动态获取:
curl api.ipipgo.com/getproxy?token=你的密钥
记住,好代理就像跑车的汽油,选ipipgo这种有自建机房的服务商,比那些二手代理稳得多。最近他们搞了个流量可结转的活动,用不完的流量下个月还能接着造,特别适合项目不稳定的团队。

