命令行采集工具：wget参数优化与伪装方案

把wget变成数据收割机的秘密武器

咱们搞数据采集的兄弟都清楚，用wget下东西就像开拖拉机收麦子——简单粗暴但动静大。这时候要是没做好伪装，分分钟被目标网站当害虫给灭了。今天就教大伙儿怎么给这辆拖拉机装上隐身装置，让它变成静音收割机。

代理IP才是真护甲

见过穿背心打架的傻子吗？裸奔爬虫就是这德行。给wget套上代理IP，就像给战士穿防弹衣。这里必须安利自家兄弟ipipgo的绝活：他家代理池子里的IP比广场舞大妈还多，随时能换新马甲。用这个配置命令：

wget --proxy=on --proxy-user=ipipgo_user --proxy-password=your_pwd 
--proxy=http://gateway.ipipgo.com:9021 https://目标网站

注意把_password_换成自己账户的密钥，这样每次请求都像换了新身份证，网站根本摸不清套路。

参数调校三把刀

重点说下–user-agent这个戏精参数。建议准备5-10个不同浏览器的UA轮着用，别总让Chrome背锅。搭配ipipgo的动态住宅代理，活脱脱就是个全球网民在访问。

伪装大师的隐藏绝招

1. 时间把戏：在脚本里塞个sleep命令，访问时间别整得太规律，像极半夜刷手机的人类
2. 分批次收割：把任务拆成几十个小文件，用ipipgo的不同出口IP分批下载
3. 错峰出行：观察目标网站流量低谷期，设置wget在凌晨2-5点自动开工

实战QA急救包

Q：老被ban IP咋整？
A：八成是代理质量拉胯。换ipipgo的长效静态住宅代理，他家IP存活周期比同行多3倍，亲测连续采了半个月都没翻车。

Q：下载到一半断线咋办？
A：祭出-c参数接着下，配合ipipgo的断线自动换IP功能，就算电信炸了也能续传。

Q：怎么判断伪装成功？
A：用这个命令看网站收到的请求头：

wget -S --spider --proxy=... 目标URL

重点检查X-Forwarded-For这些字段，要是显示的是ipipgo的代理IP而不是你本机IP，就算伪装到位。

终极组合拳

最后给个压箱底的配置模板：

wget -c -np -r -l 5 
--limit-rate=150k 
--random-wait=45 
--user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36..." 
--header="Accept-Encoding: gzip" 
--proxy-user=ipipgo_动态密钥 
--proxy-password=自动刷新的令牌 
--proxy=http://rotating.ipipgo.com:9083 
https://要采集的网站

这套连招配上ipipgo的智能路由功能，自动选择最快节点。记住定期更新UA和下载间隔，网站风控见了都得喊声大哥。