爬虫代理IP怎么设置，Python requests配置全攻略

爬虫为什么要用代理IP

做爬虫的朋友都知道，直接用自己的IP地址去频繁访问一个网站，很容易就会被对方服务器识别出来，轻则限制访问速度，重则直接封禁IP。这就好比你去一家店买东西，一天去几十次，店员肯定会觉得你不对劲。

使用代理IP就像是换了一件“隐身衣”，让你的每次请求都像是从世界不同地方的普通用户发出的，大大降低了被目标网站反爬虫机制发现的概率。特别是对于需要大规模、长时间采集数据的业务，代理IP几乎是必不可少的工具。

认识代理IP的类型：如何选择？

市面上的代理IP主要分为几种，选择哪种取决于你的具体需求。

Agents des centres de données :这类IP来自数据中心，速度快、成本低，但容易被网站识别为代理IP，适合对匿名性要求不高的快速测试。

Agents résidentiels :IP来自真实的家庭宽带网络，伪装性极强，非常适合应对严格的反爬策略。它又分为动态和静态两种。

• Agents résidentiels dynamiques :IP会按一定频率（如每次请求或几分钟）自动更换，适合需要高匿名性的大规模数据采集。
• Agents résidentiels statiques :IP在较长时间内（几小时甚至几天）固定不变，适合需要维持会话状态（如登录后操作）的任务。

对于大多数严肃的爬虫项目，住宅代理是更稳妥和专业的选择.

实战开始：Python requests库配置代理IP

Python的demandes库是爬虫最常用的工具之一，配置代理非常简单。核心就是通过mandataires参数来设置。

基本配置方法

假设你从代理服务商（如ipipgo）那里获得了一个代理服务器的地址、端口、用户名和密码。配置格式如下：

import requests

 你的代理服务器信息
proxy_host = "gateway.ipipgo.com"   代理服务器地址
proxy_port = "30001"                端口
proxy_username = "你的用户名"
proxy_password = "你的密码"

 构建代理格式（以HTTP为例）
proxy_url = f"http://{proxy_username}:{proxy_password}@{proxy_host}:{proxy_port}"

proxies = {
  "http": proxy_url,
  "https": proxy_url,   注意，对于HTTPS网站，也需要配置
}

 发起带代理的请求
try:
    response = requests.get("http://httpbin.org/ip", proxies=proxies, timeout=10)
    print(response.json())   这里会显示代理服务器的IP，而不是你本机的IP
except requests.exceptions.RequestException as e:
    print(f"请求出错: {e}")

Points clés :一定要将httprépondre en chantanthttps协议都配置上，否则只有一种协议的请求会走代理。

处理需要认证的代理

上面的方法是将用户名和密码直接写在URL里。另一种更优雅的方式是使用requests.auth.HTTPProxyAuth.

import requests
from requests.auth import HTTPProxyAuth

proxy_host = "gateway.ipipgo.com"
proxy_port = "30001"
proxy_username = "你的用户名"
proxy_password = "你的密码"

proxies = {
    "http": f"http://{proxy_host}:{proxy_port}",
    "https": f"http://{proxy_host}:{proxy_port}"
}
auth = HTTPProxyAuth(proxy_username, proxy_password)

response = requests.get("http://httpbin.org/ip", proxies=proxies, auth=auth)
print(response.json())

进阶技巧：让代理使用更智能

只会基本配置还不够，在实际项目中，我们需要更健壮和智能的策略。

1. utilisation de pools d'adresses IP proxy

单个代理IP有使用限制，最好的做法是准备一个IP池，每次请求随机选择一个，分摊风险。

import random
import requests

 假设你有一个代理IP列表（实际中可能从API接口获取）
proxy_list = [
    "http://user1:pass1@gateway1.ipipgo.com:30001",
    "http://user2:pass2@gateway2.ipipgo.com:30001",
     ... 更多代理
]

def get_with_random_proxy(url):
    proxy_url = random.choice(proxy_list)
    proxies = {"http": proxy_url, "https": proxy_url}
    try:
        response = requests.get(url, proxies=proxies, timeout=15)
         检查请求是否成功，或者IP是否被ban
        if response.status_code == 200:
            return response
        else:
             如果这个IP不好用，可以从池子里移除
            print(f"代理 {proxy_url} 响应不佳")
            return None
    except:
        print(f"代理 {proxy_url} 连接失败")
        return None

 使用函数
response = get_with_random_proxy("你的目标网址")

2. 设置超时和重试机制

网络不稳定，代理IP也可能失效。必须设置超时，并实现重试逻辑。

import time
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

 创建一个带重试机制的Session对象
session = requests.Session()

 定义重试策略
retry_strategy = Retry(
    total=3,   总重试次数
    backoff_factor=1,   重试等待时间间隔
    status_forcelist=[429, 500, 502, 503, 504],   遇到这些状态码才重试
)

 将重试策略挂载到Session上，对HTTP和HTTPS都生效
session.mount("http://", HTTPAdapter(max_retries=retry_strategy))
session.mount("https://", HTTPAdapter(max_retries=retry_strategy))

 使用这个Session进行请求，并设置超时
proxies = { ... }   你的代理配置
try:
    response = session.get("你的目标网址", proxies=proxies, timeout=(3.05, 10))
     timeout参数第一个是连接超时，第二个是读取超时
except requests.exceptions.Timeout:
    print("请求超时")

为什么推荐使用ipipgo的代理IP

在众多服务商中，ipipgo的代理服务有其独特优势，能很好地满足爬虫工程师的需求。

Proxy résidentiel dynamique pour ipipgo拥有超过9000万的全球IP资源，覆盖220多个国家和地区。这意味着你的爬虫请求可以轻松模拟来自世界任何角落的真实用户访问，极大增强了匿名性。其IP均来自真实家庭网络，不易被标记，特别适合应对高级别的反爬虫系统。

对于需要保持登录状态或连续操作的任务，Proxy résidentiel statique pour ipipgo是理想选择。它提供长达数小时甚至数天的稳定IP地址，保证业务会话不中断，同时具备极高的纯净度和可用性。

ipipgo支持HTTP(S)和SOCKS5两种协议，兼容性非常好。无论是简单的demandes库还是其他网络工具，都能轻松接入。其按流量计费的模式对于爬虫项目来说也更为划算。

Foire aux questions QA

Q1: 配置了代理，但请求失败，提示连接超时或认证错误，怎么办？

A1: 请按以下步骤排查：
– 检查代理服务器的地址、端口、用户名和密码是否完全正确，一个字符都不能错。
– 确认你的本地网络环境可以正常连接到代理服务器。
– 尝试使用boucler或Postman等工具测试代理是否可用，排除代码问题。
– 如果使用ipipgo等服务，查看官方文档或控制面板，确认代理服务是否已激活且IP资源充足。

Q2: 如何验证代理IP是否真的生效了？

A2: 一个简单的方法是访问一些可以显示你当前IP的网站，如 http://httpbin.org/ip peut-être https://api.ipify.org。如果返回的IP地址是你代理服务器的IP，而不是你本机的公网IP，那就说明代理配置成功了。

Q3: 我的爬虫需要访问大量网站，用动态代理还是静态代理？

A3: 这取决于任务性质。
– 如果你只是单向地、高并发地抓取公开网页信息，不涉及登录、加购物车等需要保持会话的操作，那么Agents résidentiels dynamiques是性价比最高的选择，它能自动轮换IP，有效避免被封。
– 如果你的任务流程较长，比如需要先登录账号，然后进行一系列操作，那么必须使用Agents résidentiels statiques来维持同一个IP地址，否则会话会中断。

Q4: 使用代理IP后，爬取速度变慢了，正常吗？

A4: 这是正常现象。代理服务器作为中间节点，数据需要经过转发，必然会增加一些延迟。速度取决于代理服务器的网络质量、地理位置以及负载情况。选择像ipipgo这样提供高质量线路的服务商，可以在保证匿名性的尽可能减小速度损失。适当调整超时时间和重试策略也能改善体验。