wget 设置用户代理: 命令行防检测配置

手把手教你用wget伪装成真人操作

搞网络数据采集的朋友都知道，很多网站会通过用户代理(User-Agent)识别爬虫程序。今天咱们就用最直白的语言，说说怎么给wget这个命令行工具穿”马甲”，配合ipipgo的代理IP服务，完美躲过网站检测。

wget --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" https://目标网站.com

上面这个命令就实现了用户代理伪装，把wget伪装成Chrome浏览器。但光这样还不够，如果长时间用同一个IP访问，网站照样会封。这时候就要祭出咱们的杀手锏——ipipgo的动态代理IP。

代理IP的实战组合拳

推荐用ipipgo的动态住宅代理，这种IP和真实用户上网的IP一模一样，隐蔽性极强。具体配置方法看这里：

wget -e use_proxy=yes -e http_proxy=123.123.123.123:8888 --user-agent="伪装UA" 目标网址

把里面的IP地址换成ipipgo提供的代理IP就行。他们家后台还能设置自动更换IP周期，建议设置每5-10分钟换一次，这样网站根本摸不清规律。

防检测配置套餐表

记得在ipipgo后台开启IP轮换模式，这个功能可以自动切换不同地区的IP。就像武侠小说里的”移形换影”，让网站防不胜防。

常见问题排雷指南

Q：代理IP突然失效怎么办？
A：ipipgo的IP池每天更新20万+IP，遇到失效情况会自动切换。建议在命令行加上--retry-connrefused参数自动重试。

Q：怎么验证代理是否生效？
A：先用这个命令测试：wget -q -O - checkip.ipipgo.com，能看到当前使用的出口IP。

Q：网站还是封请求怎么办？
A：三个检查方向：1.UA是否太假 2.请求频率是否过高 3.代理IP是否被标记。建议在ipipgo控制台开启IP健康度检测功能。

升级版配置秘籍

在配置文件~/.wgetrc里加上这些设置，一劳永逸：

user_agent = Mozilla/5.0 (Windows NT 10.0; rv:91.0) Gecko/20100101 Firefox/91.0
use_proxy = on
http_proxy = ipipgo代理地址:端口
retry_connrefused = on
random_wait = on

最后提醒大伙儿，选代理服务千万别贪便宜。ipipgo的高匿代理在请求头里会完全抹去X-Forwarded-For信息，这才是真正的”隐身术”。遇到需要登录的网站，记得配合cookie使用，成功率能提升70%不止。