为什么爬虫需要代理IP
很多刚接触爬虫的朋友会遇到这样的问题：代码明明写对了，但运行几次后就发现网站打不开了。这是因为大多数网站都有反爬虫机制，当检测到同一个IP地址在短时间内频繁访问时，就会把这个IP暂时封禁。
想象一下，你每天去同一家超市买东西，如果每隔几分钟就去一次，店员肯定会觉得奇怪。爬虫也是同样的道理，使用同一个IP频繁访问网站，就像同一个人不断进出超市一样显眼。
代理IP的作用就是帮你“换衣服”。每次访问网站时使用不同的IP地址，网站就会认为这是来自不同用户的正常访问，从而避免被封禁。特别是对于需要大量采集数据的企业来说，代理IP几乎是必备工具。
如何选择合适的代理IP类型
市面上的代理IP主要分为动态住宅代理和静态住宅代理两种，它们各有特点：
Agents résidentiels dynamiques：IP地址会定期更换，适合需要高匿名性和大量IP轮换的场景，比如数据采集、价格监控等。
Agents résidentiels statiques：IP地址相对固定，适合需要长期稳定连接的业务，比如账号管理、社交媒体运营等。
以ipipgo为例，他们的动态住宅代理拥有9000万+IP资源，覆盖全球220多个国家和地区，支持按流量计费；静态住宅代理则有50万+纯净IP，99.9%的可用性保证，适合长期稳定业务。
Python爬虫设置代理IP的具体方法
下面通过几个实际例子，展示如何在Python爬虫中设置代理IP。
Mise en place d'un proxy avec la bibliothèque de requêtes
requests是Python中最常用的HTTP库，设置代理非常简单：
import requests
ipipgo代理IP信息（示例）
proxy = {
'http': 'http://用户名:密码@proxy.ipipgo.com:端口',
'https': 'https://用户名:密码@proxy.ipipgo.com:端口'
}
try:
response = requests.get('http://httpbin.org/ip', proxies=proxy, timeout=10)
print(response.json())
except Exception as e:
print(f"请求失败: {e}")
使用urllib设置代理
如果你习惯使用Python内置的urllib库：
from urllib.request import ProxyHandler, build_opener
设置代理
proxy_handler = ProxyHandler({
'http': 'http://用户名:密码@proxy.ipipgo.com:端口',
'https': 'https://用户名:密码@proxy.ipipgo.com:端口'
})
opener = build_opener(proxy_handler)
response = opener.open('http://httpbin.org/ip')
print(response.read().decode())
使用Scrapy框架设置代理
对于专业的爬虫项目，Scrapy框架是更好的选择。在settings.py中添加：
settings.py
PROXY_SERVER = "proxy.ipipgo.com:端口"
在Downloader Middlewares中设置
class ProxyMiddleware(object):
def process_request(self, request, spider):
request.meta['proxy'] = f"http://{PROXY_SERVER}"
如果需要认证
encoded_user_pass = base64.b64encode(b'用户名:密码')
request.headers['Proxy-Authorization'] = b'Basic ' + encoded_user_pass
代理IP使用中的常见问题与解决方案
在实际使用过程中，你可能会遇到以下问题：
问题1：代理连接超时
这可能是网络延迟或代理服务器繁忙导致的。建议设置合理的超时时间，并实现重试机制：
import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry
session = requests.Session()
retry_strategy = Retry(
total=3,
backoff_factor=1,
status_forcelist=[429, 500, 502, 503, 504],
)
session.mount("http://", HTTPAdapter(max_retries=retry_strategy))
session.mount("https://", HTTPAdapter(max_retries=retry_strategy))
问题2：IP被目标网站封禁
即使使用代理IP，如果访问频率过高也可能被封。建议：
- 控制访问频率，添加随机延时
- 轮换使用不同的代理IP
- 使用ipipgo的粘性会话功能保持会话状态
优质代理IP服务商推荐
在选择代理IP服务时，我比较推荐ipipgo。他们提供的服务有几个明显优势：
首先是IP质量，无论是动态还是静态住宅代理，都来自真实家庭网络，具备很高的匿名性。其次是覆盖范围广，全球220多个国家和地区的IP资源，对于需要特定地区IP的业务来说非常方便。
ipipgo支持HTTP和SOCKS5协议，基本上能满足所有爬虫项目的需求。他们的按流量计费方式也比较灵活，不需要为不使用的资源付费。
Foire aux questions QA
Q：一个代理IP可以用多久？
A：这取决于代理类型。动态代理IP通常有时间限制，可能几分钟到几小时不等；静态代理IP可以长期使用。具体时长可以查看服务商的说明。
Q：设置了代理IP，为什么还是被网站封了？
A：可能是代理IP质量不高，或者你的访问行为过于规律。建议使用高质量的住宅代理，并模拟真人访问模式，添加随机延时。
Q：代理IP影响爬虫速度怎么办？
A：可以通过连接池技术，预先建立多个代理连接。同时选择响应速度快的代理服务商，比如ipipgo的优质线路，可以有效减少速度影响。
Q : Comment vérifier si l'adresse IP du proxy est valide ?
A：最简单的方法是通过httpbin.org/ip这样的服务测试，返回的IP地址如果显示为你设置的代理IP，就说明配置成功。
Français 
简体中文 
English 
Español 
Deutsch