Python爬虫代理IP怎么用？Requests与Scrapy框架配置详解

一、代理IP：爬虫的“隐身斗篷”，为啥非用不可？

想象一下，你派个小弟（爬虫）去别人家（目标网站）串门。一天跑几十趟，还空着手去（不带代理IP），人家保安（反爬系统）不盯你盯谁？轻则吃闭门羹（封IP），重则直接拉黑名单（封号）。代理IP就像给你小弟套了件“隐身斗篷”，让他每次串门都换个新马甲（不同IP），神不知鬼不觉地把数据顺回来。尤其用ipipgo这种Real Residential IP（不是那些机房烂大街的IP），伪装度更高，保安更难识破！

二、Requests：轻装上阵，代理配置超简单

Requests是Python里耍HTTP请求的“瑞士军刀”，简单直接。用它配代理，分分钟搞定。

1. 基础姿势：塞个字典就完事儿

核心就是给`proxies`参数塞个字典，告诉Requests走哪个代理。ipipgo支持HTTP/HTTPS/SOCKS5全协议，灵活得很！

import requests

 假设你从ipipgo搞了个HTTP代理，长这样：http://username:password@gateway.ipipgo.com:port
proxy = {
    'http': 'http://username:password@gateway.ipipgo.com:port',   HTTP请求走这个
    'https': 'http://username:password@gateway.ipipgo.com:port'  HTTPS请求走这个（协议别写错！）
}

 或者用SOCKS5（需要安装 requests[socks]）
 proxy = {
     'http': 'socks5://username:password@gateway.ipipgo.com:port',
     'https': 'socks5://username:password@gateway.ipipgo.com:port'
 }

url = 'https://www.example.com'
response = requests.get(url, proxies=proxy)

print(response.text)  看看数据到手没

Key Points:

• username:password：这是你在ipipgo后台生成的认证信息，千万别用别人的！
• gateway.ipipgo.com:port：ipipgo提供的代理网关地址和端口，不同套餐可能不同，看准了填。
• 协议对应：`http`开头的网址就用`’http’`键，`https`开头的就用`’https’`键，SOCKS5同理。

2. 高级耍法：玩转ipipgo动态住宅IP轮换

ipipgo的动态住宅IP（标准版/企业版）最大特点就是IP池子大（90 million+ real home IPs），能自动换IP。用Requests实现轮换，简单粗暴就是每次请求都重新设置代理::

import requests
from your_ipipgo_manager import get_random_ipipgo_proxy   假设你写了个小函数管理ipipgo代理

url = 'https://www.tough-site.com'

for _ in range(10):   模拟连续爬10次
     每次请求前，从ipipgo动态IP池里薅个新代理
    proxy_config = get_random_ipipgo_proxy()   返回格式如 {'http': 'http://user:pass@gateway:port'}

    try:
        response = requests.get(url, proxies=proxy_config, timeout=10)
        print(f"成功！IP换了，数据长度：{len(response.text)}")
         处理你的数据...
    except requests.exceptions.RequestException as e:
        print(f"哎呀，这次用 {proxy_config} 翻车了：{e}")
         这里可以记录失败代理，或者直接忽略换下一个

为啥推荐ipipgo动态住宅？ 因为IP来自Real Home Broadband，目标网站很难识别这是爬虫流量，尤其对付那些反爬贼严的电商、社交媒体站，效果拔群！而且覆盖220+ countries and territories，精准到城市，想爬哪就爬哪。

三、Scrapy：工业级爬虫，代理集成更优雅

Scrapy是爬虫界的“重装坦克”，框架本身对代理支持得贼好，主要通过中间件(Middleware)to realize.

1. 标准配置：修改settings.py

最省心的办法就是在Scrapy项目的`settings.py`文件里直接开搞：

 settings.py

 1. 启用内置的HttpProxyMiddleware（默认是启用的）
DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
}

 2. 设置代理！这里用ipipgo的代理
IPIPGO_PROXY = "http://username:password@gateway.ipipgo.com:port"   替换成你的ipipgo代理地址

 3. 告诉Scrapy所有请求都用这个代理 (简单但不够灵活，适合粘性会话或静态代理)
 DOWNLOADER_MIDDLEWARES.update({
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
 })
 然后在爬虫里手动设置request.meta['proxy'] = IPIPGO_PROXY 或者用下面的自定义中间件更好

这种方法适合短期用同一个代理（比如ipipgo的静态住宅代理，IP固定不变，稳定性高）。

2. 必杀技：自定义代理中间件（强烈推荐！）

想玩转ipipgo动态住宅IP的自动轮换，或者精细控制代理策略？自己写个中间件才是王道！

 在项目里新建个文件，比如 middlewares.py

import random
from scrapy import signals
from scrapy.exceptions import NotConfigured

class IpipgoProxyRotatorMiddleware:
    """
    牛X的ipipgo动态代理轮换中间件
    """

    def __init__(self, proxy_list):
        self.proxy_list = proxy_list   存一堆ipipgo代理地址的列表

    @classmethod
    def from_crawler(cls, crawler):
         从settings.py读取配置好的ipipgo代理列表
        proxy_list = crawler.settings.getlist('IPIPGO_PROXY_LIST')
        if not proxy_list:
            raise NotConfigured('IPIPGO_PROXY_LIST 没配啊大哥！')
        return cls(proxy_list)

    def process_request(self, request, spider):
         核心：每次请求前，随机挑一个ipipgo代理给它穿上！
        chosen_proxy = random.choice(self.proxy_list)
        request.meta['proxy'] = chosen_proxy
         如果需要认证，ipipgo代理地址里已经包含用户名密码了，Scrapy会自动处理
         打印看看（调试用）
        spider.logger.debug(f"给请求 {request.url} 披上代理马甲: {chosen_proxy}")

 在settings.py里激活这个中间件，并配置你的ipipgo代理池
DOWNLOADER_MIDDLEWARES = {
    'yourproject.middlewares.IpipgoProxyRotatorMiddleware': 100,   数字要比HttpProxyMiddleware小！
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
     ... 其他中间件
}

 配置一堆ipipgo动态代理地址（实际使用中，这个列表最好动态从ipipgo API获取更新）
IPIPGO_PROXY_LIST = [
    'http://username1:password1@gateway1.ipipgo.com:port1',
    'http://username2:password2@gateway2.ipipgo.com:port2',
     ... 多整几个，轮着用
]

ipipgo动态住宅（企业版）优势： 池子更大更稳，并发更高，Customized IP Survival Time（会话粘性），特别适合大型分布式爬虫，不怕IP不够用！

四、实战避坑指南 & QA

理论懂了，实战中难免踩坑。来，老司机带你绕开：

Q1：代理明明配了，为啥还是报错/连不上？

• 检查三要素： 用户名、密码、网关地址端口一个都不能错！去ipipgo后台确认。
• Protocol Matching: 目标网站是`https://`，你代理配置里`’https’`键写了吗？
• 网络通畅： 本地网络能访问ipipgo的网关吗？试试`ping`或`telnet`。
• Agent Type: Requests用SOCKS5要装`requests[socks]`！Scrapy用SOCKS5得用`scrapy-socks`这类库。
• IP失效/被封： 动态IP轮换起来！ipipgo动态住宅IP池够大，轮换策略写好，别怕。

Q2：用了代理，速度变龟爬了咋整？

• 选对节点： ipipgo代理覆盖全球，尽量选离目标网站服务器近的节点（比如爬美国站用美国代理）。
• 协议影响： SOCKS5通常比HTTP(S)稍快一点，但差别不大，稳定性更重要The
• 并发控制： 别一股脑发太多请求，给代理服务器喘口气。Scrapy里调`CONCURRENT_REQUESTS`。
• 套餐升级： 免费或劣质代理肯定慢。ipipgo企业级动态住宅带宽足，按需购买流量，速度有保障。

Q3：目标网站还是把我认出来了！代理不灵？

• 匿名性不够： 普通机房代理、透明代理分分钟暴露。必须用Highly anonymous residential agents！ipipgo所有IP都来自真实家庭网络，匿名性杠杠的。
• 请求特征暴露： Headers（尤其`User-Agent`）、Cookie、访问频率太规律都容易露馅。配合Scrapy的`UserAgentMiddleware`、`CookiesMiddleware`，把伪装做全套。
• IP质量差： 黑名单IP、被污染的IP没用。ipipgo的IP池纯净度高，定期清洗维护，可用率有保证。

Q4：ipipgo那么多套餐，爬虫该选哪个？

• Dynamic Residential (Standard Edition): 性价比之王！适合大多数日常爬虫，IP海量轮换，对付普通反爬够用。
• Dynamic Residential (Enterprise Edition): suitability大型、高并发、要求稳定性极高的业务。IP池更大更优质，支持会话粘性（指定IP用一段时间）。
• Static homes: suit长期稳定使用同一个IP的场景，比如养号、管理后台。IP纯净度高，invariantThe

一句话： 小打小闹用标准版，想稳如老狗上企业版或静态！

V. Summary

爬虫路上，代理IP就是你的“黄金甲”。用好ipipgo的优质代理资源，结合Requests的灵活或Scrapy的强大框架，那些反爬墙都是纸老虎！记住：

• configure仔细别手抖（用户名密码网关别抄错！）。
• 动态爬虫轮换策略是关键（ipipgo动态住宅IP池深似海）。
• Highly anonymous residential IP是王道（别贪便宜用垃圾代理）。
• 根据业务选对ipipgo套餐（标准、企业、静态各有千秋）。

爬虫不易，且爬且珍惜。装备上ipipgo，让你的数据之路畅通无阻！