Python代理IP爬虫的核心思路
做Python爬虫最头疼的就是被封IP。辛辛苦苦写的代码，跑几分钟就被目标网站拉黑，数据采集直接中断。解决这个问题最有效的方法就是使用代理IP，让请求通过不同的IP地址发出，降低被封的风险。
代理IP服务的原理很简单：你通过一个中间服务器（代理服务器）去访问目标网站，目标网站看到的是代理服务器的IP，而不是你的真实IP。这样即使某个IP被封，换个IP就能继续工作。
市面上代理IP服务商很多，但质量参差不齐。好的代理IP应该具备高匿名性、稳定快速、覆盖地区广等特点。我们以ipipgo为例，它的动态住宅代理IP来自真实家庭网络，非常适合爬虫使用。
第一步：获取可靠的代理IP资源
构建爬虫的第一步是找到稳定的代理IP来源。虽然网上有免费代理，但那些基本上都是坑——速度慢、不稳定，而且很多根本不能用。
专业代理IP服务商如ipipgo提供API接口，可以实时获取可用代理IP。以ipipgo的动态住宅代理为例，它支持按流量计费，适合爬虫这种需要大量IP的场景。
注册ipipgo账号后，你会获得一个API接口，通过这个接口可以获取代理服务器地址、端口、用户名和密码。下面是一个获取代理IP的示例：
import requests
def get_proxy_from_ipipgo():
这里是示例API地址，实际使用时需要替换为ipipgo提供的真实接口
api_url = "https://api.ipipgo.com/getproxy"
params = {
'key': '你的API密钥',
'num': 10, 获取10个代理IP
'protocol': 'http'
}
response = requests.get(api_url, params=params)
if response.status_code == 200:
proxy_list = response.json()['data']
return proxy_list
return []
测试获取代理IP
proxies = get_proxy_from_ipipgo()
print(f"获取到{len(proxies)}个代理IP")
ipipgo的代理IP分为动态住宅和静态住宅两种：
Agents résidentiels dynamiques：IP会定期更换，适合需要频繁更换IP的大规模采集任务。
Agents résidentiels statiques：IP固定不变，适合需要长期稳定连接的业务场景。
第二步：构建带代理的爬虫核心代码
有了代理IP资源，下一步就是把它集成到爬虫中。Python的requests库支持通过proxies参数设置代理。
基本思路是：先从代理服务商获取IP列表，然后为每个请求随机选择一个代理，如果某个代理失效，就自动切换到下一个。
import requests
import random
import time
class ProxySpider:
def __init__(self):
self.proxy_list = [] 存储代理IP列表
self.current_proxy_index = 0
def refresh_proxies(self):
"""从ipipgo获取新的代理IP列表"""
try:
self.proxy_list = get_proxy_from_ipipgo()
print(f"成功更新{len(self.proxy_list)}个代理IP")
except Exception as e:
print(f"获取代理IP失败: {e}")
def get_random_proxy(self):
"""随机选择一个代理"""
if not self.proxy_list:
self.refresh_proxies()
if self.proxy_list:
return random.choice(self.proxy_list)
return None
def make_request_with_proxy(self, url, max_retries=3):
"""使用代理发送请求"""
for attempt in range(max_retries):
proxy_info = self.get_random_proxy()
if not proxy_info:
print("没有可用的代理IP")
return None
构造代理格式
proxies = {
'http': f"http://{proxy_info['username']}:{proxy_info['password']}@{proxy_info['ip']}:{proxy_info['port']}",
'https': f"http://{proxy_info['username']}:{proxy_info['password']}@{proxy_info['ip']}:{proxy_info['port']}"
}
try:
response = requests.get(url, proxies=proxies, timeout=10)
if response.status_code == 200:
print(f"请求成功，使用的代理IP: {proxy_info['ip']}")
return response
else:
print(f"请求失败，状态码: {response.status_code}")
except requests.exceptions.RequestException as e:
print(f"代理 {proxy_info['ip']} 请求失败: {e}")
从列表中移除失效的代理
if proxy_info in self.proxy_list:
self.proxy_list.remove(proxy_info)
time.sleep(1) 失败后稍作延迟
return None
使用示例
spider = ProxySpider()
response = spider.make_request_with_proxy("https://httpbin.org/ip")
if response:
print("获取到的IP信息:", response.text)
这个爬虫类实现了代理IP的自动管理和故障切换。当某个代理失效时，会自动尝试其他代理，确保爬虫持续运行。
第三步：实战案例 – 电商商品数据采集
假设我们要采集某个电商网站的商品信息，这种网站反爬措施很严格，必须使用代理IP。
Principaux enseignements :
1. 控制请求频率：即使使用代理IP，也要避免请求过于频繁
2) Traitement des CAPTCHAs：当触发反爬时，需要相应的处理机制
3. 数据解析：正确解析网页结构，提取所需信息
import requests
from bs4 import BeautifulSoup
import time
import json
class EcommerceSpider(ProxySpider):
def __init__(self):
super().__init__()
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}
def crawl_product_page(self, product_url):
"""采集商品页面信息"""
response = self.make_request_with_proxy(product_url)
if not response:
return None
soup = BeautifulSoup(response.text, 'html.parser')
解析商品信息（这里需要根据实际网站结构调整）
product_info = {
'title': self.extract_title(soup),
'price': self.extract_price(soup),
'description': self.extract_description(soup),
'rating': self.extract_rating(soup)
}
return product_info
def extract_title(self, soup):
"""提取商品标题"""
实际选择器需要根据目标网站调整
title_element = soup.find('h1', class_='product-title')
return title_element.text.strip() if title_element else ''
def extract_price(self, soup):
"""提取商品价格"""
price_element = soup.find('span', class_='price')
return price_element.text.strip() if price_element else ''
def batch_crawl(self, url_list, delay=2):
"""批量采集多个商品"""
results = []
for i, url in enumerate(url_list):
print(f"正在采集第{i+1}个商品...")
product_data = self.crawl_product_page(url)
if product_data:
results.append(product_data)
print(f"成功采集: {product_data['title']}")
else:
print(f"采集失败: {url}")
控制采集速度，避免触发反爬
time.sleep(delay)
return results
使用示例
product_urls = [
"https://example.com/product/1",
"https://example.com/product/2",
...更多商品URL
]
spider = EcommerceSpider()
products = spider.batch_crawl(product_urls[:5]) 先测试5个商品
保存结果
with open('products.json', 'w', encoding='utf-8') as f:
json.dump(products, f, ensure_ascii=False, indent=2)
print(f"采集完成，共获取{len(products)}个商品信息")
Questions fréquemment posées et solutions
Q: 代理IP连接超时怎么办？
A: 增加超时时间设置，检查代理IP的可用性，及时更换失效的代理。
Q: 爬虫还是被网站封了怎么办？
A: 降低请求频率，模拟真实用户行为，使用ipipgo的高匿名住宅代理IP。
Q: 如何选择动态代理还是静态代理？
A: 大规模采集用动态代理，需要稳定会话的用静态代理。ipipgo两种都提供，可以根据业务需求灵活选择。
Q: 代理IP速度慢怎么优化？
A: 选择地理位置近的代理服务器，ipipgo支持按地区选择代理，可以有效提升速度。
选择ipipgo代理服务的优势
在众多代理服务商中，ipipgo有几个明显优势：
资源丰富：动态住宅代理IP总量9000万+，覆盖220多个国家和地区，不用担心IP不够用。
Anonymat élevé：所有IP都来自真实家庭网络，目标网站很难识别是爬虫请求。
Facturation flexible：按流量计费，用多少算多少，特别适合爬虫这种用量不固定的场景。
Support technique：提供详细的使用文档和技术支持，上手容易。
构建一个稳定的Python代理IP爬虫，关键在于选择可靠的代理服务和编写健壮的异常处理代码。按照本文的三步流程，你就能搭建一个高效的数据采集系统。
Français 
简体中文 
English 
Español 
Deutsch