curl设置请求头|自定义UA和Referer

手把手教你用curl玩转请求头伪装

大伙儿在用curl抓数据的时候，是不是经常遇到网站死活不给响应？这事儿我去年做电商价格监控时天天碰到。后来发现，不伪装请求头就像裸奔上网，网站一眼就能认出你是爬虫。今天咱们就聊聊怎么用代理IP配合curl设置请求头，重点推荐下自家用顺手的ipipgo代理服务。

为什么要折腾请求头？

举个实际例子：去年双十一我想抓某平台的促销数据，用自己电脑的IP直连，刚发几个请求就被封。后来给curl挂上ipipgo的动态住宅代理，再改下UA和Referer，连续跑了3天都没事。这就像戴了人皮面具去参加化装舞会，网站根本认不出你是谁。

curl设置请求头核心参数

记住这三个必改项：
– -H “User-Agent: …”（设备指纹）
– -H “Referer: …”（来路页面）
– -x 代理服务器地址（建议用ipipgo的socks5代理）

实战命令长这样：

curl -x socks5://user:pass@gateway.ipipgo.io:20000 
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" 
-H "Referer: https://www.example.com/product/123" 
https://target-site.com/data

代理IP选型有讲究

用过七八家代理服务商，最后锁定ipipgo主要看中两点：
1. 住宅IP池够大（听说有2000万+）
2. 自动会话保持（做需要登录的操作时特别省心）
他们家的代理地址格式要注意：gateway.ipipgo.io 这个域名是固定入口，别用错。

常见翻车现场QA

Q：参数顺序总搞混怎么办？
A：记住口诀：代理设置(-x)放最前，头信息(-H)中间排，目标网址最后跟

Q：UA用手机版还是电脑版？
A：看目标网站流量来源，电商类多用手机UA，企业官网多用PC。ipipgo后台有现成的UA库可以直接抄

Q：动态请求头怎么实现？
A：推荐用ipipgo的智能路由功能，能自动轮换UA和Referer，比自己写脚本省事多了

避坑指南

最近发现有些网站会检测头信息完整性。上周有个客户就栽在没加Accept-Language头，明明其他参数都对，还是被识别成机器人。建议用ipipgo的请求头体检功能，自动补全必要参数。

最后说个冷知识：用代理IP时记得关系统代理设置！有次调试半天没结果，最后发现电脑开着全局代理，两重代理导致超时，这种低级错误千万别犯。