curl抓取技术: 命令行网页采集实例

curl抓取遇到IP被封？手把手教你用代理突围

搞数据抓取的老铁们应该都懂，用curl脚本刚跑两天，目标网站就把咱们IP给封了。这种时候别急着摔键盘，今天教你们个绝招——代理IP动态轮换大法。咱就以ipipgo家的服务为例，保证看完就能实操。

代理IP为啥是curl抓取的保命符

网站反爬就像地铁安检，同一个面孔（IP）频繁出现肯定被盯上。ipipgo提供的动态代理池好比千人千面的伪装面具，每次请求换张脸，让反爬系统根本摸不着规律。实测用他们家住宅代理，连续抓取30天都没触发封禁。

零基础curl代理配置指南

在命令行里加代理简单到爆，记住这个万能格式：

curl -x http://用户名:密码@代理地址:端口 目标网址

举个栗子，用ipipgo提供的socks5代理（他们家的独有协议更稳）：

curl -x socks5://vip123:abcd1234@gateway.ipipgo.net:30001 https://target.com


实战：动态IP轮换采集电商价格
单代理不够看？上ipipgo的API自动换IP（他们家接口响应速度200ms内）：
!/bin/bash
for i in {1..100}
do
   proxy=$(curl -s api.ipipgo.net/getproxy?key=你的密钥)
   curl -x $proxy https://shop.com/item_$i >> prices.txt
   sleep $[RANDOM%5+1]   随机等待防规律
done

关键点在于每次循环都获取新代理，配合随机休眠，完美避开反爬监测。
必须掌握的3个避坑技巧


坑点
解决方案


代理连接超时
在curl加--connect-timeout 10参数


网页内容乱码
添加-H "Accept-Encoding: gzip"请求头


证书验证失败
-k参数跳过SSL验证（敏感数据慎用）


常见问题排雷专区
Q：代理用着用着就卡顿？

A：八成是IP质量不行。建议换ipipgo的独享高速线路，他们每个IP都带5Gbps带宽，亲测下载速度能跑满本地宽带。
Q：怎么判断代理是否生效？

A：先用curl访问ipipgo的检测接口：
curl -x 代理地址 api.ipipgo.net/checkip
看到返回的IP变化就说明配置成功。
Q：需要处理验证码怎么办？

A：ipipgo的长效静态代理配合打码平台更合适，单个IP存活24小时，足够完成复杂操作。
最后给个小贴士：把代理配置写入环境变量能省不少事，在.bashrc里加上：
export ALL_PROXY="http://用户名:密码@gateway.ipipgo.net:30000"
这样所有curl请求都会自动走代理，省心程度直接拉满。遇到技术难题别自己硬刚，ipipgo的技术客服24小时在线，报我名字还能多送10G流量（笑）。