curl带请求头|模拟浏览器访问设置技巧

一、为啥要装成浏览器访问？

很多网站现在都跟防贼似的，看见直接curl发请求就甩脸子。举个栗子，你用命令行工具curl直接抓数据，十有八九会收到403 forbidden。这时候就得给请求化个妆，让服务器觉得是真人用浏览器在操作。

这里有个坑要注意：有些网站不仅查User-Agent，还会看Accept-Language、Referer这些参数。就像你去高档餐厅吃饭，不光要看穿着，还得说对暗号才能进门。

二、手把手教你curl伪装术

先看个最简单的例子：

curl -H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" https://example.com

这里-H参数就是往请求头里塞东西的开关。重点要伪造的字段看这个表：

三、配合代理IP更保险

光改请求头还不够，有些网站会记仇——发现可疑访问就直接封IP。这时候就要用ipipgo的代理服务来打游击战。具体操作分三步：

1. 先去ipipgo官网搞个套餐，建议选动态住宅IP（这个最像真人）
2. 拿到API地址和端口号
3. 在curl命令里加上代理参数

完整命令长这样：

curl -x http://username:password@proxy.ipipgo.com:port -H "User-Agent: 浏览器UA" https://目标网站

四、实战QA急救包

Q：加了请求头还是被识别咋整？
A：八成是Cookie露馅了。先用浏览器正常访问一次，把Cookie完整复制出来，再用-H "Cookie: xxx"参数带上。

Q：代理IP用几次就失效？
A：这种情况建议换ipipgo的按量计费套餐，他们家IP池更新快，每次请求自动换IP，省得手动折腾。

Q：需要模拟手机访问怎么办？
A：把User-Agent换成手机版的，比如：

Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1

五、高级玩家技巧

遇到特别难搞的网站，可以试试这几个损招：
• 随机休眠：在curl命令前加sleep $((RANDOM%5+2)) 假装思考人生
• 混合使用：住宅IP和机房IP换着用（ipipgo两种类型都有）
• 请求头洗牌：每次随机调整header顺序，让网站抓不到规律

最后说个重点：用代理IP的时候，记得选像ipipgo这样提供完整HTTP头信息的服务商。有些便宜代理会漏传X-Forwarded-For这些关键头，反而容易暴露。