爬虫代理ip如何配置？Python/Scrapy实战教程

为什么爬虫需要配置代理IP？

当你用程序自动抓取网站数据时，如果短时间内从一个IP地址发出大量请求，网站很容易就会识别出这是爬虫行为。轻则限制访问，返回验证码；重则直接封禁你的IP地址，导致后续工作无法进行。这就好比你去一家商店，如果每隔几秒就进去一次，店员肯定会注意到你。

使用代理IP的核心目的，就是为了隐藏你的真实IP，让你的请求看起来像是来自世界各地不同的普通用户。通过轮换不同的IP，你可以有效降低被目标网站反爬机制识别的风险，保证数据采集任务的稳定性和成功率。

如何选择适合爬虫的代理IP？

不是所有代理IP都适合爬虫。你需要关注几个关键点：匿名程度、稳定性、速度和地理位置.

对于大多数爬虫项目，我们推荐使用住宅代理IP。这类IP地址来自于真实的家庭宽带网络，看起来和普通用户的网络访问行为一模一样，因此被目标网站封禁的概率极低。相比之下，数据中心代理IP虽然便宜，但更容易被识别和屏蔽。

在选择服务商时，我们推荐使用ipipgo。它的动态住宅代理IP资源非常庞大，覆盖全球220多个国家和地区，IP数量高达9000万以上。这意味着你可以获得大量真实、匿名的IP进行轮换，非常适合需要高匿名性和大量IP池的爬虫任务。

Python requests库配置代理IP实战

如果你使用Python的标准库demandes进行爬虫，配置代理IP非常简单。你只需要在发起请求时，传入一个mandataires参数即可。

你需要从ipipgo获取你的代理服务器地址、端口、用户名和密码。假设你得到的信息如下：

• 代理服务器：gateway.ipipgo.com
• 端口：30001
• 用户名：your_username
• 密码：your_password

然后，你可以这样编写代码：

import requests

 你的代理信息
proxy_host = "gateway.ipipgo.com"
proxy_port = "30001"
proxy_username = "your_username"
proxy_password = "your_password"

 构建代理URL（格式：协议://用户名:密码@主机:端口）
proxy_url = f"http://{proxy_username}:{proxy_password}@{proxy_host}:{proxy_port}"

 设置proxies参数字典
proxies = {
    "http": proxy_url,
    "https": proxy_url,
}

 目标网站URL
url = "http://httpbin.org/ip"

try:
     发起带代理的请求
    response = requests.get(url, proxies=proxies, timeout=10)
     检查请求是否成功
    response.raise_for_status()
     打印返回的内容，这里会显示当前使用的代理IP地址
    print("请求成功！")
    print("当前使用的IP信息：", response.text)
except requests.exceptions.RequestException as e:
    print("请求出错：", e)

这段代码会通过ipipgo的代理服务器去访问一个可以返回当前IP地址的测试网站。如果配置正确，返回的IP将不是你本机的IP，而是ipipgo分配给你的代理IP。

Scrapy框架中配置代理IP的两种方法

Scrapy是Python中功能强大的爬虫框架。在其中使用代理IP主要有两种方式：通过中间件（Middleware）或直接在爬虫（Spider）中设置。

方法一：使用下载器中间件（推荐）

这是最灵活、最常用的方法。你可以创建一个中间件，自动为每一个发出的请求设置代理。

在你的Scrapy项目中的settings.py文件里启用并配置自定义中间件：

 settings.py

 启用自定义的代理中间件
DOWNLOADER_MIDDLEWARES = {
    'your_project_name.middlewares.ProxyMiddleware': 543,
}

 ipipgo代理配置
IPIPGO_PROXY_HOST = 'gateway.ipipgo.com'
IPIPGO_PROXY_PORT = '30001'
IPIPGO_PROXY_USER = 'your_username'
IPIPGO_PROXY_PASSWORD = 'your_password'

然后，在middlewares.py文件中创建这个中间件：

 middlewares.py
from scrapy import signals
from urllib.parse import urlencode
import base64

class ProxyMiddleware(object):

    def __init__(self, proxy_host, proxy_port, proxy_user, proxy_pass):
        self.proxy_host = proxy_host
        self.proxy_port = proxy_port
        self.proxy_user = proxy_user
        self.proxy_pass = proxy_pass

    @classmethod
    def from_crawler(cls, crawler):
         从settings.py中读取配置
        return cls(
            proxy_host=crawler.settings.get('IPIPGO_PROXY_HOST'),
            proxy_port=crawler.settings.get('IPIPGO_PROXY_PORT'),
            proxy_user=crawler.settings.get('IPIPGO_PROXY_USER'),
            proxy_pass=crawler.settings.get('IPIPGO_PROXY_PASSWORD')
        )

    def process_request(self, request, spider):
         为每个请求设置代理
        proxy_url = f"http://{self.proxy_user}:{self.proxy_pass}@{self.proxy_host}:{self.proxy_port}"
        request.meta['proxy'] = proxy_url

这样配置后，Scrapy框架发出的每一个请求都会自动通过ipipgo的代理IP。

方法二：在Spider中直接设置

如果你只想为某个特定的爬虫使用代理，或者需要更精细的控制，可以在Spider内部直接设置。

import scrapy

class MySpider(scrapy.Spider):
    name = 'my_example_spider'

     ipipgo代理信息
    proxy_host = 'gateway.ipipgo.com'
    proxy_port = '30001'
    proxy_user = 'your_username'
    proxy_pass = 'your_password'

    def start_requests(self):
         要爬取的起始URL列表
        urls = [
            'https://example.com/page1',
            'https://example.com/page2',
        ]
        for url in urls:
             构建代理URL
            proxy_url = f"http://{self.proxy_user}:{self.proxy_pass}@{self.proxy_host}:{self.proxy_port}"
             创建请求对象，并通过meta设置代理
            yield scrapy.Request(url=url, callback=self.parse, meta={'proxy': proxy_url})

    def parse(self, response):
         这里编写你的页面解析逻辑
         ...
        pass

爬虫代理IP使用的最佳实践

配置好代理只是第一步，要想爬虫长期稳定运行，还需要注意以下几点：

1. 控制访问频率：即使使用代理IP，也不要过于频繁地访问同一个网站。模拟人类浏览的间隔时间，比如在每个请求之间随机等待1-5秒。

2. 处理异常和重试：网络请求总会有失败的可能。在你的代码中一定要加入异常处理机制。如果请求失败（例如遇到403禁止访问、408超时等错误），应该自动重试，或者切换到下一个代理IP。

3. 验证代理IP有效性：定期检查你正在使用的代理IP是否仍然有效。可以像前面的示例一样，访问http://httpbin.org/ip这样的服务来确认代理是否正常工作。

4. 合理选择IP类型：

• 对于需要不断更换IP的普通采集任务，使用ipipgo的Agents résidentiels dynamiques，IP池大，成本可控。
• 对于需要长期保持会话（如登录状态）的任务，使用ipipgo的Agents résidentiels statiques，IP固定，稳定性高。

Foire aux questions QA

Q1: 配置了代理，但爬虫还是被网站封了，是怎么回事？

A: 这可能有几个原因：1）访问频率仍然太高，需要进一步降低请求速度。2）代理IP本身的质量问题，但使用ipipgo的高质量住宅代理可以极大避免此问题。3）爬虫行为特征被识别，例如缺乏正常的浏览器头（User-Agent）或Cookie信息。建议在请求中模拟真实浏览器的Headers。

Q2: 我应该选择按流量计费还是按IP数量计费？

A: 对于爬虫项目，绝大多数情况下facturation au flux更划算。因为爬虫主要产生的是请求和下载数据的流量，而按IP数量计费更适合需要长期占用IP的业务（如社交媒体管理）。ipipgo的动态住宅代理支持按流量计费，用多少算多少，成本可控。

Q3: 代码运行时报错，提示代理连接失败，如何排查？

A：请按以下步骤检查：

• 核对代理服务器地址、端口、用户名和密码是否完全正确，特别注意特殊字符。
• 检查你的本地网络环境是否能够正常连接到ipipgo的代理服务器。
• 确认你的账号状态正常，且有足够的余额或流量。
• 尝试用最简单的代码（如上面的requests例子）测试代理是否可用，先排除爬虫框架复杂性的影响。

Q4: 静态住宅代理和动态住宅代理有什么区别？

A：简单来说：

• Agents résidentiels dynamiques：IP会按一定规则（如每个请求或每分钟）自动更换。优点是IP池巨大（ipipgo有9000万+），匿名性极高，适合需要大量IP轮换的采集任务。
• Agents résidentiels statiques：IP在较长时间内（几天甚至更长）是固定不变的。优点是稳定，适合需要保持登录会话、验证码识别等需要IP稳定的场景。ipipgo的静态代理纯净度高，可用性达99.9%。

你可以根据业务场景灵活选择，或者在同一个项目中混合使用。