代理IP请求头伪装的重要性
很多人在使用代理IP时，以为换个IP地址就万事大吉了，结果没请求几次就被目标网站识别并封禁。这其实是因为忽略了HTTP请求头的重要性。请求头就像是你的网络“身份证”，记录了你的浏览器类型、操作系统、语言偏好等信息。如果使用爬虫框架（如Python的Requests库）的默认请求头，很容易被网站识别为机器人。
通过代理IP（例如ipipgo的住宅代理IP）访问网站时，目标网站会同时检查你的IP地址和HTTP请求头。一个真实的住宅IP配合一个不自然的请求头，就像穿着西装在工地搬砖，依然会很突兀。设置合理的HTTP请求头是成功伪装的关键一步，它能让你看起来更像一个普通的真实用户。
如何获取真实的用户请求头
在开始伪装之前，我们首先要知道一个真实的请求头长什么样。最简单的方法就是直接从你的浏览器里复制。
Procedimiento operativo:
- 打开Chrome或Firefox浏览器。
- 按F12键打开“开发者工具”。
- 切换到“Network”（网络）标签页。
- 在地址栏访问任何一个常用网站（如 `www.baidu.com`）。
- 在Network面板中，点击第一个请求（通常是文档类型），在右侧的Headers选项卡下找到“Request Headers”部分。
你会看到类似下面这样的信息，这就是一个标准的、由真实浏览器发出的请求头：
accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8
accept-encoding: gzip, deflate, br
accept-language: zh-CN,zh;q=0.9,en;q=0.8
cache-control: no-cache
pragma: no-cache
sec-ch-ua: "Chromium";v="92", " Not A;Brand";v="99", "Google Chrome";v="92"
sec-ch-ua-mobile: ?0
sec-fetch-dest: document
sec-fetch-mode: navigate
sec-fetch-site: none
sec-fetch-user: ?1
upgrade-insecure-requests: 1
user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36
请务必使用你自己浏览器生成的请求头，因为不同浏览器、不同版本的请求头细节会有所不同。
核心请求头字段详解与设置技巧
不是每个请求头字段都同等重要，但以下几个是网站风控系统重点检查的对象，需要特别留意。
1. User-Agent（用户代理）
这是最重要也是最基础的字段。它直接告诉网站你使用的浏览器和操作系统。使用默认的爬虫User-Agent（如`Python-urllib/3.10`）等于自报家门。你应该始终设置一个常见的、更新的桌面或移动浏览器User-Agent。
2. Accept（接受内容类型）
这个字段告诉服务器你的浏览器可以处理哪些类型的资源。普通浏览器会接受多种类型，而爬虫可能只接受`text/html`。设置一个完整的、合理的Accept字符串能增加真实性。
3. Accept-Language（接受语言）
这个字段代表用户的语言偏好。如果你的代理IP位于美国，但Accept-Language是`zh-CN`（中文-中国），就会显得很不协调。建议根据代理IP的地理位置来设置对应的语言。例如，使用ipipgo的美国代理IP时，可设置为 `en-US,en;q=0.9`。
4. Accept-Encoding（接受编码）
通常设置为 `gzip, deflate, br`，表示浏览器支持压缩传输以节省带宽。大多数爬虫库也能自动处理解压，所以保留这个字段是必要的。
5. Referer（来源页）
这个字段表示你是从哪个页面跳转过来的。对于连续访问一系列页面的爬虫来说，合理设置Referer非常重要。例如，访问一个商品详情页，其Referer应该是商品列表页的URL。模拟正常的浏览路径能有效降低被识别的风险。
代码示例：Python Requests库设置请求头
以下是如何在Python的Requests库中，结合ipipgo的代理IP来设置完整的请求头。
配置代理IP（以ipipgo的HTTP代理为例）：
import requests
假设你从ipipgo获取的代理服务器信息如下
proxy_host = "gateway.ipipgo.com"
proxy_port = "8080"
proxy_username = "你的用户名"
proxy_password = "你的密码"
构建代理格式
proxy = {
"http": f"http://{proxy_username}:{proxy_password}@{proxy_host}:{proxy_port}",
"https": f"http://{proxy_username}:{proxy_password}@{proxy_host}:{proxy_port}"
}
构建一个真实的请求头字典
headers = {
"authority": "www.example.com",
"method": "GET",
"path": "/",
"scheme": "https",
"accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3;q=0.7",
"accept-encoding": "gzip, deflate, br",
"accept-language": "en-US,en;q=0.9", 根据代理IP所在地设置语言
"cache-control": "no-cache",
"pragma": "no-cache",
"sec-ch-ua": '"Not_A Brand";v="8", "Chromium";v="120", "Microsoft Edge";v="120"',
"sec-ch-ua-mobile": "?0",
"sec-ch-ua-platform": '"Windows"',
"sec-fetch-dest": "document",
"sec-fetch-mode": "navigate",
"sec-fetch-site": "none",
"sec-fetch-user": "?1",
"upgrade-insecure-requests": "1",
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 Edg/120.0.0.0" 使用一个常见的UA
}
发起请求，同时使用代理IP和自定义请求头
try:
response = requests.get('https://www.example.com', headers=headers, proxies=proxy, timeout=10)
print(response.status_code)
print(response.text[:500]) 打印前500个字符
except requests.exceptions.RequestException as e:
print(f"请求发生错误: {e}")
高级伪装技巧：动态轮换与会话保持
对于长时间或大规模的采集任务，单一的请求头模式仍然可能被识别。这时需要更高级的策略。
1. 动态轮换User-Agent
准备一个包含几十个不同浏览器、不同版本的User-Agent列表，每次请求时随机选择一个。这样可以模拟不同用户设备的访问行为。
import random
user_agents = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.1 Safari/605.1.15",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
... 可以继续添加更多
]
def get_random_headers():
base_headers = {
"accept": "text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8",
"accept-language": "en-US,en;q=0.5",
"accept-encoding": "gzip, deflate, br",
}
base_headers["user-agent"] = random.choice(user_agents)
return base_headers
在每次请求时使用
headers = get_random_headers()
2. 使用Session对象保持会话
对于需要登录或保持一连串操作状态的场景，使用`requests.Session()`可以自动管理Cookies，并在同一个会话中复用连接和部分头信息，使行为更连贯自然。
创建一个Session对象
session = requests.Session()
为Session设置代理和公共请求头
session.proxies.update(proxy)
session.headers.update({
"accept-language": "en-US,en;q=0.9",
"accept-encoding": "gzip, deflate, br",
})
在后续的请求中，Session会自动处理Cookies，你只需更新必要的头信息（如User-Agent）
session.headers["user-agent"] = random.choice(user_agents)
response1 = session.get("https://www.example.com/login")
后续请求会携带登录后的Cookies，更像真实用户
response2 = session.get("https://www.example.com/dashboard")
为什么选择ipipgo代理IP配合请求头伪装
再完美的请求头伪装，如果背后的IP地址是可疑的数据中心IP，效果也会大打折扣。ipipgo的代理IP服务为此提供了坚实的基础：
- 高度匿名的真实住宅IP：ipipgo的动态和静态住宅代理IP均来自真实的家庭网络，IP类型与普通网民无异，极大降低了因IP类型异常而被封禁的风险。
- 精准的地理位置定位：支持国家、州/城市级别的IP定位。你可以轻松获取与你的请求头语言、时区等信息相匹配的当地IP，避免“中国用户语言头配美国IP”的不协调情况。
- 高可用性与稳定性：无论是动态IP的轮换会话模式，还是静态IP的粘性会话模式，ipipgo都能提供99.9%的高可用性，确保你的伪装流程不会因IP质量问题而中断。
- 完整的协议支持：全面支持HTTP(S)和SOCKS5协议，可灵活适配各种爬虫框架和工具，方便你集成上述的请求头伪装方案。
将专业的代理IP与细致的请求头设置相结合，才能构建起坚固的伪装防线，有效提升数据采集的成功率和效率。
Preguntas frecuentes QA
Q1: 我已经设置了User-Agent，为什么还是被网站识别了？
A1: 可能的原因有几个：1）你只设置了User-Agent，但忽略了其他重要的头字段（如Accept-Language、Accept-Encoding等），头信息不完整。2）你的请求行为过于规律，例如固定频率、毫无停顿，需要加入随机延时。3）你使用的代理IP质量不高（如透明代理或数据中心代理），即使请求头正确，IP本身也被网站拉黑了。建议使用ipipgo这类提供高质量匿名住宅IP的服务商。
Q2: 需要把所有请求头字段都设置一遍吗？
A2: 不是必须的，但核心字段一定要设置。最关键的字段是User-Agent、Accept、Accept-Language。对于安全性要求较高的网站，可能还会检查Sec-开头的系列头字段（如sec-ch-ua, sec-fetch-等），这时最好从浏览器完整复制。原则是：宁可多设，不可漏设关键项。
Q3: 使用ipipgo的静态住宅IP和动态住宅IP，在请求头设置上有什么不同？
A3: 在请求头设置本身没有不同。主要区别在于使用场景：如果你需要长时间保持一个会话来模拟用户连续操作（如购物车流程），ipipgo的IP residencial estática提供的粘性会话更合适，因为IP地址在较长时间内是固定的。如果你是大规模采集，不需要保持状态，那么使用IP residencial dinámica并让IP随请求频繁轮换，同时配合动态变化的请求头，隐匿效果更好。
Q4: 我的爬虫需要模拟手机App访问，请求头该怎么设置？
A4: 模拟手机App访问，关键在于使用移动设备的User-Agent，并且通常不需要浏览器特有的Sec-等复杂头字段。你可以用抓包工具（如Fiddler、Charles）捕获手机App发出的网络请求，直接复制其完整的请求头。配合使用ipipgo提供的移动运营商IP，伪装效果会更逼真。
Español 
简体中文 
English 
Deutsch 
Français