爬虫示例代码分享：一个简单的、带代理功能的爬虫

Pourquoi les robots d'indexation ont-ils besoin d'adresses IP proxy ?

写爬虫程序时，最常遇到的问题就是目标网站的反爬虫机制。当你频繁地从同一个IP地址发送请求时，网站服务器很容易识别出这是爬虫行为，从而对你的IP进行封禁。轻则返回错误页面，重则直接限制访问。这不仅会导致数据采集中断，还可能影响你本地的正常网络使用。

代理IP的核心作用就在这里：隐藏你的真实IP，让你的请求看起来像是来自世界各地不同的普通用户。通过轮换使用不同的代理IP，你可以有效地分散请求，降低被目标网站封禁的风险，保证爬虫任务的稳定性和成功率。

准备工作：获取ipipgo代理IP

在开始写代码之前，你需要先准备好可用的代理IP。这里我们推荐使用ipipgo的代理服务。ipipgo提供高质量的代理IP资源，特别适合爬虫这类需要高稳定性和匿名性的场景。

你可以根据需求选择不同的套餐：

• Agents résidentiels dynamiques：IP资源丰富，IP地址会按一定策略自动更换，非常适合需要高匿名性和大量请求的爬虫任务。
• Agents résidentiels statiques：IP地址在较长时间内固定不变，适合需要保持会话（如登录状态）的爬虫场景。

注册ipipgo账号并购买套餐后，你通常会获得一个代理服务器地址、端口、用户名和密码。这些信息在下面的代码中会用到。

爬虫示例代码：带代理功能的Python爬虫

下面我们用一个简单的Python爬虫示例，来演示如何将ipipgo的代理IP集成到你的代码中。这个例子会爬取一个示例网页，并打印出页面标题。

我们使用流行的 demandes 库来发送HTTP请求。

import requests

 配置ipipgo代理信息
 以下信息需要替换为你从ipipgo获取的实际信息
proxy_username = "你的ipipgo用户名"
proxy_password = "你的ipipgo密码"
proxy_host = "gateway.ipipgo.com"   示例代理服务器地址，请以实际为准
proxy_port = "8080"   示例端口号，请以实际为准

 构建代理格式（以HTTP代理为例）
proxy_url = f"http://{proxy_username}:{proxy_password}@{proxy_host}:{proxy_port}"

proxies = {
    "http": proxy_url,
    "https": proxy_url,
}

 目标网址
target_url = "http://httpbin.org/ip"   这个网址会返回请求者的IP地址，非常适合测试代理是否生效

try:
     发送带代理的请求
    response = requests.get(target_url, proxies=proxies, timeout=10)
    
     检查请求是否成功
    response.raise_for_status()
    
     打印返回结果
    print("请求成功！")
    print("返回内容：", response.text)
     如果代理生效，这里显示的IP地址应该是ipipgo代理服务器的IP，而不是你本机的真实IP。

except requests.exceptions.RequestException as e:
    print(f"请求出错: {e}")

代码关键点解析

1. 代理格式：代码中构建的代理URL是标准格式：协议://用户名:密码@代理服务器地址:端口。确保你的用户名和密码填写正确，这是认证通过的关键。

2. 代理协议：示例中使用了HTTP代理。ipipgo的代理同样支持HTTPS和SOCKS5协议。如果你的目标网站是HTTPS的，确保你的代理配置中也包含了httpsDomaines.

3. 超时设置: :timeout=10 参数非常重要。它规定了请求在多少秒后没有响应就自动放弃，可以防止程序因为网络或代理问题而无限期卡住。

4. traitement des anomalies: Utilisation essayer... . sauf 块捕获请求过程中可能出现的异常（如网络错误、代理连接失败等），使程序更加健壮。

进阶技巧：实现IP自动轮换

对于需要大量抓取的任务，固定使用一个代理IP可能还不够。更好的做法是让代理IP自动轮换。ipipgo的动态住宅代理支持这种模式。

一种简单的实现思路是，每次请求前都从ipipgo的API获取一个新的代理IP地址。以下是概念性代码：

import requests

 假设ipipgo提供了获取动态代理IP的API端点（具体请查阅ipipgo官方文档）
def get_fresh_proxy_from_ipipgo():
     这里模拟调用API获取一个新代理的流程
     实际使用时，你需要根据ipipgo提供的API文档来编写这部分代码
    fresh_proxy_host = "新IP的网关地址"
    fresh_proxy_port = "端口"
    return f"http://{proxy_username}:{proxy_password}@{fresh_proxy_host}:{fresh_proxy_port}"

 要爬取的网址列表
urls_to_crawl = ["https://example.com/page1", "https://example.com/page2", ...]

for url in urls_to_crawl:
    try:
         每次请求都获取一个新的代理
        fresh_proxy_url = get_fresh_proxy_from_ipipgo()
        proxies = {'http': fresh_proxy_url, 'https': fresh_proxy_url}
        
        response = requests.get(url, proxies=proxies, timeout=15)
         ... 处理返回的网页内容 ...
        print(f"成功抓取: {url}")
        
    except Exception as e:
        print(f"抓取 {url} 时出错: {e}")
        continue   一个页面出错，跳过继续下一个

通过这种方式，你的每个请求都可能来自不同的IP地址，极大地提高了爬虫的隐蔽性和成功率。

Foire aux questions QA

Q1: 测试时代理连接失败，可能是什么原因？

A1. 常见原因有几个：1）代理服务器地址、端口、用户名或密码填写错误。请仔细核对从ipipgo后台获取的信息。2）本地网络环境限制了对外部代理端口的访问。可以尝试切换网络环境。3）代理IP已过期或余额不足。请登录ipipgo账号检查套餐状态。

Q2: 使用了代理，但还是被网站封了，怎么办？

A2. 确保你的代理IP是高质量的。ipipgo的住宅代理IP来自真实家庭网络，被封的概率远低于数据中心IP。检查你的爬虫行为是否过于“粗暴”。即使频繁更换IP，过快的请求速度（例如每秒数十次请求）仍然会触发网站的风控。建议在代码中加入随机延时（如time.sleep(random.uniform(1, 3))），模拟真人操作间隔。

Q3: 爬虫应该选择ipipgo的动态住宅代理还是静态住宅代理？

A3. 这取决于你的具体需求：

• optionAgents résidentiels dynamiques：如果你的爬虫任务是大规模、高并发的数据采集，不需要维持登录会话，那么动态代理是性价比最高的选择，它能提供海量的IP进行轮换。
• optionAgents résidentiels statiques：如果你的任务需要先登录账号，然后在一段时间内以该身份进行操作（例如爬取个人社交媒体的信息），那么你需要一个固定的IP来保持会话，这时就应该使用静态代理。

Q4: 除了Python，其他编程语言也能用吗？

A4. 当然可以。ipipgo的代理服务是基于标准的HTTP/HTTPS/SOCKS5协议的，这意味着几乎所有主流编程语言（如Java, Go, JavaScript/Node.js, PHP等）都可以使用。你只需要在对应语言的HTTP客户端库中设置代理参数即可，配置原理与上面的Python示例是相通的。