爬虫代理ip总是被封怎么办？轮换策略与ua伪装全攻略

为什么你的爬虫总被识别？先搞清楚原因

很多朋友在做数据采集时，最头疼的就是代理IP用着用着就被封了。你可能觉得，我明明换了IP啊，怎么还是被发现了？其实，网站封禁你的爬虫，不仅仅是看IP，它是一个综合判断的过程。简单来说，网站的风控系统就像个保安，它会从好几个方面来打量你：

首先当然是Adresse IP。如果一个IP在短时间内发出大量请求，这个IP肯定会被标记。更糟糕的是，如果你用的代理IP是数据中心IP（就是那些来自云服务器机房的IP），很多大网站一眼就能认出来，封起来毫不手软。

Suivant.User-Agent。如果你所有的请求都带着同一个UA字符串，比如一直用着某个Python库的默认UA，这等于在脑门上写了“我是机器人”几个大字。

fin访问行为模式。人的点击是有间隔、有浏览轨迹的。如果你的程序以固定的、毫秒不差的频率疯狂抓取页面，这种机械化的行为模式非常容易被算法识别。

只换IP是治标不治本。我们需要一套组合拳，让我们的爬虫看起来更像一个“真人”在浏览网站。

核心武器一：高质量代理IP的选择与轮换策略

既然IP是关键，那第一步就是选对IP。市面上代理IP很多，但质量参差不齐。对于爬虫来说，Proxy résidentiel IP是首选。因为它的IP地址来源于真实的家庭宽带，是互联网上最普通、最常见的IP类型，网站信任度最高，被封的风险最低。

这里就要提到我们ipipgo的代理服务了。我们的动态住宅代理IP池拥有超过9000万个IP，覆盖220多个国家和地区。这意味着你有海量的、真实的家庭IP可以轮换使用，极大降低了单个IP的访问频率，从源头上减少了被封的可能。

光有IP还不够，你得会用。轮换策略的核心就两点：什么时候换répondre en chantant怎么换.

1. 按请求次数轮换： 最简单的策略。比如，让同一个代理IP只发送10-50次请求后就自动更换一个新的。这适合抓取列表页等不需要维持会话的场景。

2. 按时间间隔轮换： 设定一个固定时间，比如每5分钟或10分钟更换一次IP。这可以模拟不同用户在不同时间段访问。

3. 智能轮换（推荐）： 这是最有效的方式。即根据网站的响应来决策。如果遇到访问速度变慢、返回了验证码（如429、503状态码），就立即。这需要你的爬虫具备一定的异常处理能力。

下面是一个简单的Python示例，展示如何使用ipipgo的动态住宅代理，并结合按请求次数轮换的策略：

import requests
from itertools import cycle

 假设你从ipipgo获取了一批动态住宅代理，格式为 ip:port:username:password
proxy_list = [
    'gateway.ipipgo.com:20000:user1:pass1',
    'gateway.ipipgo.com:20000:user2:pass2',
     ... 更多代理
]

 创建一个代理池的循环迭代器
proxy_pool = cycle(proxy_list)
max_requests_per_proxy = 30   每个代理最多使用30次请求
current_proxy = next(proxy_pool)
request_count = 0

def get_with_proxy(url):
    global current_proxy, request_count
    if request_count >= max_requests_per_proxy:
         切换代理
        current_proxy = next(proxy_pool)
        request_count = 0
        print(f"切换到新代理: {current_proxy.split(':')[2]}")

    proxy_url = f"http://{current_proxy}"
    proxies = {
        "http": proxy_url,
        "https": proxy_url,
    }
    try:
        response = requests.get(url, proxies=proxies, timeout=10)
        request_count += 1
        return response
    except Exception as e:
         如果当前代理出错，也立即切换
        print(f"代理 {current_proxy} 出错: {e}，准备切换")
        current_proxy = next(proxy_pool)
        request_count = 0
        return get_with_proxy(url)   重试

 使用示例
for page in range(1, 100):
    url = f'https://example.com/list?page={page}'
    resp = get_with_proxy(url)
     处理你的响应数据...

对于需要保持登录状态的任务（比如爬取个人中心），你可以使用ipipgo的Agents résidentiels statiques。这种IP在较长一段时间内（几小时到几天）是固定不变的，纯净度高，特别适合需要维持会话粘性的业务场景。

核心武器二：UA伪装与请求头管理

解决了IP问题，我们再来打扮一下爬虫的“门面”——请求头。其中最重要的就是User-Agent。

绝对不要使用默认或单一的UA！ 你需要准备一个包含几十甚至上百个常见浏览器UA的列表，每次请求时随机选取一个。这些UA应该覆盖Chrome, Firefox, Safari, Edge等主流浏览器在不同操作系统（Windows, macOS, iOS, Android）上的多个版本。

除了UA，一个完整的、看起来像浏览器的请求头还应包含：

• Accept: 告诉服务器客户端可以处理哪些内容类型。
• Accept-Language: 语言偏好，如 `zh-CN,zh;q=0.9`。
• Accept-Encoding: 通常包含 `gzip, deflate, br`。
• Referer: 当前请求页面的来源页地址。合理设置Referer能让请求链看起来更自然。
• Connection: 通常设为 `keep-alive`。

这里是一个请求头管理的代码示例：

import random

 一个简单的UA池
USER_AGENTS = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Safari/605.1.15',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/121.0',
    'Mozilla/5.0 (iPhone; CPU iPhone OS 17_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.2 Mobile/15E148 Safari/604.1',
     ... 添加更多
]

def get_random_headers():
    """生成一个随机的、完整的请求头字典"""
    ua = random.choice(USER_AGENTS)
    headers = {
        'User-Agent': ua,
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,/;q=0.8',
        'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
        'Accept-Encoding': 'gzip, deflate, br',
        'Connection': 'keep-alive',
        'Upgrade-Insecure-Requests': '1',
        'Sec-Fetch-Dest': 'document',
        'Sec-Fetch-Mode': 'navigate',
        'Sec-Fetch-Site': 'none',
        'Cache-Control': 'max-age=0',
    }
     根据UA判断，如果是移动端UA，可以添加一些移动端特有的头部
    if 'Mobile' in ua or 'iPhone' in ua or 'Android' in ua:
        headers['Sec-Fetch-User'] = '?1'
    return headers

 在请求中使用
session = requests.Session()
url = 'https://example.com'
response = session.get(url, headers=get_random_headers(), proxies=proxies)

行为模拟：让爬虫“慢”下来

有了好IP和好伪装，最后一步是模仿人的操作节奏。这是很多新手忽略的一点。

1. 随机化请求间隔： 不要用 `time.sleep(2)` 这种固定间隔。人在浏览页面时，停留时间有长有短。使用随机间隔，比如 `time.sleep(random.uniform(1, 5))`，会让行为看起来更自然。

2. 模拟点击路径： 不要只抓取目标数据页。一个真实的用户可能先访问首页，再点击分类，然后进入列表页，最后才打开详情页。你的爬虫也可以设计类似的流程，并在每个步骤间加入随机等待。

3. 处理常见反爬： 如果遇到验证码，不要硬闯。最好的策略是触发验证码后，立即停止当前IP的请求，换一个IP，并延长等待时间。对于简单的滑块或点选验证码，可以考虑接入打码平台。

4. 分散目标： 如果数据量巨大，尽量避免长时间、高频率地抓取同一个子域名或同一个目录下的页面。可以将任务分散到不同的时间点和不同的入口页面。

Foire aux questions QA

Q：我用了代理IP，为什么还是很快被封？
A：大概率是你用的代理IP类型不对。很多廉价代理提供的是数据中心IP，这类IP段非常容易被网站识别并批量封禁。请务必使用像ipipgo这样的Proxy résidentiel IP，它们来自真实家庭网络，隐匿性更强。同时检查你的UA是否单一，请求频率是否过高。

Q : Que dois-je choisir entre une IP dynamique et une IP statique ?
A：这取决于你的任务。IP résidentielle dynamique（如ipipgo的动态住宅套餐）适合大规模、无需登录的数据采集，IP海量且自动更换。IP résidentielle statique（如ipipgo的静态住宅套餐）IP纯净稳定，在有效期内固定不变，适合需要维持Cookie和会话的长时间任务，比如社交媒体管理、电商账号维护等。

Q：如何判断一个代理IP的质量？
A：可以从几个维度看：anonymat（是否高匿）、typologie（住宅还是数据中心）、pureté（IP是否被目标网站污染过）、Vitesse et stabilitéetzone couverte。像ipipgo的代理会明确标注IP类型、国家和地区甚至城市级别的定位能力，并提供高可用性保证，这些是判断质量的重要依据。

Q：针对TikTok等特别严格的平台有什么好办法？
A：这类平台对IP和环境检测极其严格。通用住宅代理可能仍会遇到风控。针对这种情况，ipipgo提供了TikTok专线解决方案。它使用多国原生纯净IP，搭配独享高速通道和智能路由优化，专为直播、运营设计，可以实现多终端一键直连，能极大提升账号安全性与运营效率，是处理高难度平台的专项工具。

Q：除了爬虫，代理IP还能用在什么场景？
A：应用非常广泛。例如：Gestion multi-compte des médias sociaux（每个账号搭配一个静态住宅IP，防止关联封号）、Vérification des annonces（查看不同地区看到的广告内容）、Surveillance des prix（抓取各地电商网站的价格）、Suivi du référencement（检查网站在不同地区的搜索结果排名）。ipipgo的SERP API服务就是专门为搜索引擎结果抓取优化的，能提供毫秒级响应的真实本地化搜索结果。

résumés

让爬虫稳定工作，不被封禁，是一个系统工程。它不是一个“神奇IP”就能搞定的事，而是需要高质量代理IP（基础） + 合理的轮换策略（核心） + 完善的请求伪装（细节） + 人类化的行为模拟（升华），四者结合。

其中，代理IP是这一切的基石。选择像ipipgo这样提供海量、真实住宅IP的服务商，能为你的项目提供一个安全可靠的起点。记住，目标是让你的数据采集工具融入互联网的背景噪音中，像一个真正的用户那样浏览、点击和获取信息。多测试、多观察、灵活调整策略，你就能有效解决代理IP总是被封的难题。