api提取代理ip怎么实现？实时获取、自动去重、多格式导出开发指南

Le principe de base de l'extraction de l'API par proxy IP

简单来说，API提取代理IP就像是从一个自动贩卖机里买饮料。你按照贩卖机（API接口）的规则投币（发送请求），它就会给你一罐饮料（代理IP列表）。这个过程不需要人工干预，完全由程序自动完成，非常适合需要大量、频繁更换代理IP的业务场景。

一个典型的API提取流程包括三个核心步骤：你的程序向ipipgo的API服务器发送一个带有认证信息（如API Key）的请求；接着，服务器验证你的身份和剩余额度，然后从庞大的IP池中筛选出符合你要求的IP（比如指定国家、城市、协议类型）；服务器将IP信息以你指定的格式（如JSON、TXT）返回给你的程序。你的程序拿到后，就可以直接用于接下来的网络请求了。

如何实现实时获取代理IP

实时获取的核心目标是确保你拿到手的IP是当下最新、可用的，避免使用已经失效的IP，从而提高业务成功率。

实现实时获取，通常有两种策略：

1. 主动拉取模式：这是最常见的方式。你的程序设置一个定时器，每隔一段时间（例如1分钟）就调用一次ipipgo的API接口，获取一批新的IP。这种方式简单直接，但需要注意请求频率，过于频繁可能会被限制。

2. 长连接推送模式：这种方式更高级。你的程序与ipipgo的API服务器建立一个长连接，当服务器端有新的、高质量的IP可用时，会主动推送到你的程序。这种方式延迟更低，能第一时间用上新鲜IP，但对服务器和客户端的技术要求也更高。

对于大多数用户，我们推荐使用主动拉取模式，并合理设置获取间隔。以下是使用Python语言实现定时获取的简单示例：

import requests
import time
import threading

def fetch_proxies():
    api_url = "https://api.ipipgo.com/your-api-endpoint"
    api_key = "你的API密钥"
    params = {
        "key": api_key,
        "num": 10,   一次获取10个IP
        "format": "json"
    }
    try:
        response = requests.get(api_url, params=params)
        if response.status_code == 200:
            proxy_list = response.json()
             这里将新的IP列表更新到你的IP池中
            print("成功获取IP列表：", proxy_list)
        else:
            print("获取失败，状态码：", response.status_code)
    except Exception as e:
        print("请求异常：", e)

 创建一个定时任务，每60秒执行一次
def scheduled_task():
    while True:
        fetch_proxies()
        time.sleep(60)

 在后台线程中运行定时任务
thread = threading.Thread(target=scheduled_task)
thread.daemon = True
thread.start()

 你的主程序可以继续做其他事情
print("定时获取代理IP的任务已启动...")

自动去重：避免IP重复的关键技术

如果不去重，你可能会在短时间内反复使用同一个IP去访问目标网站，这极易被对方识别为爬虫行为从而导致IP被封。自动去重就是在IP进入你的“IP池”之前，进行一道过滤。

实现自动去重，最有效的方法是使用集合（Set）数据结构。集合的特性就是内部元素唯一，重复的元素无法被添加进去。具体流程是：

1. 从API获取到一批新的IP地址。
2. 将这些IP与你本地“IP池”中已有的IP进行比对。
3. 只将那些“IP池”中不存在的、全新的IP添加进去。

这里有一个进阶技巧：你不仅可以对完整的IP地址去重，还可以对IP的C段（即IP地址的前三段）进行去重。例如，避免使用`192.168.1.10`和`192.168.1.20`这样属于同一个C段的IP去访问同一个网站，这能更好地模拟真实用户行为。

以下是一个结合了去重功能的简单IP池管理示例：

class SimpleProxyPool:
    def __init__(self):
        self.proxy_set = set()   使用集合存储IP，自动去重

    def add_proxies(self, new_proxies):
        """添加新IP到池子，自动去重"""
        before_count = len(self.proxy_set)
         将新IP列表转换为集合，与原有集合取并集，自动去重
        self.proxy_set |= set(new_proxies)
        added_count = len(self.proxy_set) - before_count
        print(f"尝试添加 {len(new_proxies)} 个IP，实际新增 {added_count} 个，当前池中共有 {len(self.proxy_set)} 个唯一IP。")

    def get_proxy(self):
        """从池中随机取出一个IP使用"""
        if self.proxy_set:
            return list(self.proxy_set).pop()   这里简单弹出，实际可按策略选择
        else:
            return None

 使用示例
pool = SimpleProxyPool()
 模拟从API获取到两批IP，其中一批有重复
batch1 = ["1.1.1.1:8080", "2.2.2.2:9090", "3.3.3.3:7070"]
batch2 = ["2.2.2.2:9090", "4.4.4.4:6060"]   注意2.2.2.2重复了

pool.add_proxies(batch1)
pool.add_proxies(batch2)

proxy = pool.get_proxy()
print("取出的代理IP是：", proxy)

多格式导出：满足不同场景的需求

不同的工具和程序对代理IP的格式要求可能不同。提供多格式导出功能，能让你的代理IP数据更具通用性。ipipgo的API通常支持多种返回格式，我们在调用时指定即可。

常见的导出格式有以下几种：

在代码中，我们可以根据需求将获取到的数据转换成不同格式并保存为文件。以下是一个示例：

import json
import csv

def export_proxies(proxy_list, format_type='json'):
    """
    将代理IP列表导出为指定格式的文件
    proxy_list: 代理IP列表，通常是一个包含字典的列表
    format_type: 导出格式，支持 'json', 'txt', 'csv'
    """
    if format_type == 'json':
        with open('proxies.json', 'w', encoding='utf-8') as f:
            json.dump(proxy_list, f, indent=4, ensure_ascii=False)
        print("已导出为JSON文件：proxies.json")

    elif format_type == 'txt':
        with open('proxies.txt', 'w') as f:
            for proxy in proxy_list:
                 假设proxy是字典，包含'ip'和'port'字段
                f.write(f"{proxy['ip']}:{proxy['port']}")
        print("已导出为TXT文件：proxies.txt")

    elif format_type == 'csv':
        with open('proxies.csv', 'w', newline='', encoding='utf-8') as f:
            writer = csv.writer(f)
             写入表头
            writer.writerow(['IP地址', '端口', '协议', '国家', '城市'])
            for proxy in proxy_list:
                writer.writerow([proxy.get('ip'), proxy.get('port'), proxy.get('protocol'), proxy.get('country'), proxy.get('city')])
        print("已导出为CSV文件：proxies.csv")

 假设这是从API获取到的数据
sample_proxy_data = [
    {"ip": "101.102.103.104", "port": 8080, "protocol": "http", "country": "美国", "city": "洛杉矶"},
    {"ip": "202.203.204.205", "port": 9090, "protocol": "https", "country": "日本", "city": "东京"}
]

 导出为不同格式
export_proxies(sample_proxy_data, 'json')
export_proxies(sample_proxy_data, 'txt')
export_proxies(sample_proxy_data, 'csv')

为什么选择ipipgo的代理IP服务

在实现了上述技术功能后，代理IP本身的质量就成了决定业务成败的关键。ipipgo的代理IP服务在以下几个方面具有显著优势：

资源规模巨大，覆盖广泛： ipipgo的动态住宅代理IP资源总量超过9000万，静态住宅代理IP超过50万，覆盖全球220多个国家和地区。这意味着你几乎可以获取到世界上任何地区的IP地址，满足精准的地理定位需求。

IP质量高，匿名性强： 特别是其住宅代理IP，全部来自真实的家庭网络，具有极高的匿名性。使用这种IP进行网络访问，被目标网站识别为代理或爬虫的风险大大降低，有效保障了业务的稳定运行。

API功能强大且灵活： ipipgo为开发者提供了稳定、易用的API接口。你可以通过参数轻松指定所需IP的数量、国家、城市、协议类型（HTTP/HTTPS/SOCKS5），以及IP的存活时间（轮换会话或粘性会话），这与我们上面讨论的实时获取、自动去重等功能完美契合。

无论是进行数据采集、价格监控、SEO分析还是广告验证，ipipgo都能提供与之匹配的代理解决方案，例如其专为TikTok运营和跨境电商设计的解决方案，都体现了其服务的深度和专业性。

Foire aux questions QA

Q1: 我设置的获取频率很高，为什么拿到的IP还是感觉慢或者不可用？

A1: 高频率获取只是保证了IP列表的“新鲜度”，但IP的“可用性”和“速度”还取决于IP本身的质量和网络环境。建议选择像ipipgo这样提供高可用性承诺的服务商。在你的程序里最好加入一个IP验证环节，即在使用一个IP前，先用它访问一个已知稳定的网站（如百度、Google）测试其响应速度和成功率，剔除掉不合格的IP。

Q2: 自动去重后，IP池里的IP很快就被用完了怎么办？

A2: 这说明你的业务对IP消耗量很大。解决方案有两点：一是增加单次从API获取的IP数量（在额度允许范围内）；二是缩短获取IP的时间间隔。更重要的是，选择像ipipgo这样IP池资源巨大的服务商，才能保证在高速消耗下依然有充足、新鲜的IP供应。

Q3: 我应该选择动态住宅代理还是静态住宅代理？

A3: 这取决于你的业务场景：

• optionAgents résidentiels dynamiques：如果你的业务需要频繁更换IP来避免被封，比如大规模数据采集、广告验证等，动态IP按流量计费，自动轮换，是性价比最高的选择。
• optionAgents résidentiels statiques：如果你的业务需要一个长期稳定的固定IP地址，比如管理社交媒体账号、进行跨境电商店铺操作等，静态IP能提供99.9%的稳定性，更适合这类场景。

你可以根据ipipgo提供的套餐类型，选择最适合你业务的那一款。