curl抓取网站: 命令行采集教程

curl抓网站为啥要用代理ip？

搞网络爬虫的老司机都懂，直接拿自己电脑IP硬刚网站服务器，就跟穿裤衩站雪地里一样危险。网站的反爬虫机制可不是吃素的，轻则封IP半小时，重则直接拉黑名单。这时候代理ip就像给curl穿了个马甲，每次请求都换个身份，服务器压根分不清谁是谁。

举个栗子，某电商平台每小时限500次访问，用自家宽带顶多撑5分钟就歇菜。要是用ipipgo的动态住宅代理，每次请求自动换IP，采集效率直接翻十倍还不带喘气的。重点来了，选代理要看三个指标：

手把手教你curl配代理

别被命令行吓到，其实就比普通curl多几个参数。假设你已经注册了ipipgo，拿到个socks5代理账号：

curl -x socks5://username:password@gateway.ipipgo.com:1080 https://target.com

这里有几个坑要注意：

1. 密码含特殊符号记得用%编码，比如@要写成%40
2. https网站必须用高匿代理，不然会暴露真实IP
3. 超时设置建议加–connect-timeout 30参数

实战防封技巧大放送

光会用代理还不够，得学会伪装成正常人。这里教你们三个绝招：

第一招：随机休眠术

sleep $((RANDOM%5+1))   随机暂停1-5秒

第二招：请求头混淆术

curl -H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" 
     -H "Accept-Language: zh-CN,zh;q=0.9" 
     -x http://ipipgo-proxy.cn:8080

第三招：IP轮换术

用ipipgo的API动态获取代理池，建议每次请求前调用接口换IP：

API_URL="http://api.ipipgo.com/getproxy?key=YOUR_KEY&protocol=socks5"
PROXY=$(curl -s $API_URL)
curl -x $PROXY https://target.com

常见问题QA

Q：代理IP用着用着就失效咋整？
A：八成是IP被目标站拉黑了，赶紧切换ipipgo的自动轮换模式，他们家的池子每天更新20万+IP

Q：为啥用了代理还是被识别？
A：检查是不是用了透明代理，ipipgo的高匿代理会完全隐藏X-Forwarded-For头

Q：企业级采集需要啥配置？
A：建议上ipipgo的企业版，支持并发数500+，带自动重试和失败率监控看板

代理服务怎么选才靠谱

市面上的代理服务鱼龙混杂，记住这三个避坑指南：

1. 别信永久免费的服务，要么限速要么卖数据
2. 看是否支持多种协议，像ipipgo就同时支持HTTP/S和SOCKS5
3. 测试IP纯净度，用这个命令检查是否有X-Real-IP头泄露：

curl -x 代理IP http://httpbin.org/headers

最后安利下，ipipgo最近在做活动，新用户送10G流量试用。他们家的动态住宅代理特别适合做长期采集项目，IP存活时间比其他家长3倍，关键是客服响应快，上次半夜两点提工单居然秒回…