Python代理IP抓取教程：使用Requests与代理池的实战代码

Pourquoi ai-je besoin d'une IP proxy ?

在日常网络操作中，很多朋友都遇到过IP被限制的情况。比如频繁访问某个网站导致IP被封，或者需要从特定地区获取数据时发现无法访问。这时候代理IP就能帮上大忙。简单来说，代理IP就像是一个中间人，帮你转发网络请求，隐藏你的真实IP地址。

使用代理IP的好处很明显：一是可以避免因频繁访问而被目标网站封禁，二是可以模拟不同地区的访问需求。对于需要大量采集数据的用户来说，合理使用代理IP是必不可少的技能。

Python中的Requests库基础

Requests是Python中最常用的HTTP库，它的设计简单直观，让发送HTTP请求变得非常容易。即使你是编程新手，也能快速上手。

先来看一个最简单的例子，不使用代理IP的情况下如何发送请求：

import requests

response = requests.get('http://httpbin.org/ip')
print(response.json())

这段代码会返回你当前的公网IP信息。运行后你会看到类似这样的结果：{"origin": "你的真实IP地址"}。这就是不使用代理时，目标网站看到的你的真实IP。

如何为Requests设置代理IP

使用代理IP其实很简单，只需要在requests的请求方法中传入proxies参数即可。代理IP的格式通常是这样的：Protocole://nom d'utilisateur:mot de passe@adresse IP:portou协议://IP地址:端口.

下面是一个使用代理IP的示例：

import requests

proxies = {
    'http': 'http://username:password@代理IP:端口',
    'https': 'https://username:password@代理IP:端口'
}

response = requests.get('http://httpbin.org/ip', proxies=proxies)
print(response.json())

如果代理IP有效，返回的结果中就会显示代理服务器的IP地址，而不是你的真实IP。

构建简单的代理IP池

单个代理IP很容易被封锁，所以实际使用时我们需要一个代理IP池，轮流使用不同的IP。下面是一个简单的代理池实现：

import requests
import random

class SimpleProxyPool:
    def __init__(self):
        self.proxies_list = []
    
    def add_proxy(self, proxy):
        """添加代理到池中"""
        self.proxies_list.append(proxy)
    
    def get_random_proxy(self):
        """随机获取一个代理"""
        if not self.proxies_list:
            return None
        return random.choice(self.proxies_list)
    
    def test_proxy(self, proxy, test_url='http://httpbin.org/ip', timeout=5):
        """测试代理是否可用"""
        try:
            response = requests.get(test_url, proxies=proxy, timeout=timeout)
            if response.status_code == 200:
                return True
        except:
            pass
        return False

 使用示例
pool = SimpleProxyPool()

 添加几个代理IP（这里用示例IP，实际使用时需要替换为真实IP）
pool.add_proxy({'http': 'http://代理IP1:端口', 'https': 'https://代理IP1:端口'})
pool.add_proxy({'http': 'http://代理IP2:端口', 'https': 'https://代理IP2:端口'})

 获取并测试随机代理
proxy = pool.get_random_proxy()
if proxy and pool.test_proxy(proxy):
    response = requests.get('http://httpbin.org/ip', proxies=proxy)
    print(f"使用代理成功: {response.json()}")
else:
    print("代理不可用")

推荐优质代理IP服务：ipipgo

自己搭建和维护代理IP池需要投入大量时间和资源，对于大多数用户来说，选择专业的代理IP服务商是更明智的选择。ipipgo就是一家值得推荐的代理IP服务提供商。

ipipgo提供多种代理IP服务，满足不同用户的需求：

• Agents résidentiels dynamiques：拥有9000万+IP资源，覆盖全球220+国家和地区，支持城市级精确定位
• Agents résidentiels statiques：50万+高质量IP，99.9%可用性，适合需要稳定IP的业务场景
• 专业解决方案：针对TikTok运营、跨境电商、数据采集等特定需求提供定制化服务

使用ipipgo的代理服务，你可以轻松获取高质量、稳定的代理IP，省去自己维护代理池的麻烦。

完整实战案例：使用ipipgo代理采集数据

下面是一个完整的实战案例，展示如何使用ipipgo的代理IP进行数据采集：

import requests
import time
import random

class DataCollector:
    def __init__(self, ipipgo_proxies):
        self.proxies_list = ipipgo_proxies
        self.session = requests.Session()
    
    def get_proxy(self):
        """从ipipgo代理池中获取代理"""
        return random.choice(self.proxies_list)
    
    def collect_data(self, url, max_retries=3):
        """使用代理采集数据"""
        for attempt in range(max_retries):
            try:
                proxy = self.get_proxy()
                response = self.session.get(
                    url, 
                    proxies=proxy, 
                    timeout=10,
                    headers={
                        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
                    }
                )
                
                if response.status_code == 200:
                    return response.text
                else:
                    print(f"请求失败，状态码: {response.status_code}")
                    
            except Exception as e:
                print(f"第{attempt+1}次尝试失败: {e}")
            
             每次重试前等待一段时间
            time.sleep(2)
        
        return None

 使用示例
 假设这是从ipipgo获取的代理列表
ipipgo_proxies = [
    {'http': 'http://ipipgo-user1:password1@代理IP1:端口', 'https': 'https://ipipgo-user1:password1@代理IP1:端口'},
    {'http': 'http://ipipgo-user2:password2@代理IP2:端口', 'https': 'https://ipipgo-user2:password2@代理IP2:端口'},
     ... 更多代理IP
]

collector = DataCollector(ipipgo_proxies)
data = collector.collect_data('https://example.com/data')
if data:
    print("数据采集成功！")
     处理采集到的数据...
else:
    print("数据采集失败")

Questions fréquemment posées

Q: 代理IP为什么有时候会失效？
A: 代理IP失效是正常现象，特别是免费代理。IP可能被目标网站封禁、代理服务器可能宕机、或者网络连接出现问题。使用高质量的付费代理如ipipgo可以大大减少这种情况。

Q: 如何判断代理IP是否匿名？
A: 可以通过访问http://httpbin.org/ip等测试网站来验证。如果返回的IP与代理IP一致，且没有泄露真实IP的相关头信息，通常就是匿名代理。

Q: 一个代理IP可以用多久？
A: 这取决于代理类型和质量。动态代理通常几分钟到几小时就会更换，静态代理可以长期使用。ipipgo提供两种选择，可以根据业务需求灵活选择。

Q: 使用代理IP会降低访问速度吗？
A: 会的，因为数据需要经过代理服务器中转。但优质的代理服务如ipipgo会通过优化线路来尽量减少速度损失。

Bonnes pratiques pour l'utilisation des IP proxy

最后分享几个使用代理IP的最佳实践：

• Réglage raisonnable du délai d'attente：避免因代理响应慢而长时间等待
• 使用会话保持：对需要登录的网站，使用requests.Session()维持会话
• Intervalle de demande de randomisation：避免固定的请求频率被识别为机器人行为
• 定期检测代理可用性：及时剔除失效的代理IP
• 遵守网站robots.txt：合理使用，不要给目标网站造成过大压力

相信你已经掌握了使用Python和代理IP进行网络请求的基本方法。选择合适的代理服务商如ipipgo，可以让你的网络爬虫和数据采集工作事半功倍。