为什么要用代理IP来抓网页？
新手刚开始学写爬虫，最常遇到的问题就是：目标网站突然访问不了了。这往往是因为你的IP地址被网站识别为“异常访问”而被封禁。想象一下，你正兴致勃勃地写代码，突然程序就卡住不动了，是不是很扫兴？
这时候，代理IP就派上用场了。简单来说，代理IP就像一个“中间人”。你的请求先发给这个“中间人”，再由它转发给目标网站。这样，目标网站看到的是代理IP的地址，而不是你的真实IP。即使这个代理IP被封锁了，你只需要换一个，就能继续你的抓取任务，大大提高了程序的稳定性和效率。
特别是对于需要大量、频繁抓取数据的项目，使用代理IP几乎是必备的。它能有效避免因单个IP访问过于频繁而触发的反爬虫机制。
项目准备：你需要哪些工具？
在开始写代码之前，我们需要准备好“武器”。这个项目我们会用到几个非常常用的Python库。
- requests: 这是Python里最受欢迎的HTTP库，用来发送网络请求，简单又好用。
- BeautifulSoup: 一个HTML解析库，能帮你从复杂的网页代码里轻松提取出需要的数据。
安装它们非常简单，打开你的命令行（比如CMD或Terminal），输入以下命令即可：
pip install requests beautifulsoup4
除了这些库，最重要的就是一个可靠的代理IP服务。市面上有很多选择，但对于新手项目，我推荐使用ipipgo。它对新用户非常友好，提供了清晰的文档和稳定的服务。ipipgo的动态住宅代理IP来自真实的家庭网络，数量庞大，覆盖全球，能有效避免被目标网站识别为爬虫，特别适合网页抓取这类场景。
第一步：获取你的第一个代理IP
我们以ipipgo为例，通常在你注册并购买套餐后，服务商会提供一个API链接。通过访问这个链接，你就能拿到一个可用的代理IP地址和端口。这个链接大概长这样：
http://api.ipipgo.com/getip?key=你的密钥&format=json
访问这个API，你会得到一个包含IP信息的JSON数据。我们先写一段代码来试试看：
import requests
替换成你在ipipgo获取的真实API链接
api_url = "http://api.ipipgo.com/getip?key=YOUR_API_KEY&format=json"
try:
response = requests.get(api_url)
检查请求是否成功（状态码200表示成功）
if response.status_code == 200:
ip_data = response.json()
print("获取到的代理IP信息：", ip_data)
else:
print("获取IP失败，状态码：", response.status_code)
except Exception as e:
print("出错了：", e)
运行这段代码，如果一切正常，你应该能在控制台看到一串包含IP、端口等信息的JSON数据。这就证明你成功拿到了代理IP！
第二步：用代理IP发起请求
拿到代理IP后，下一步就是用它来访问我们真正想抓取的网站。在requests库中，使用代理非常简单，只需要定义一个字典，然后在发请求时传给proxies参数就行了。
假设我们想抓取一个天气预报网站来练手：
import requests
from bs4 import BeautifulSoup
目标网址（这里以一个示例网站为例）
target_url = "http://httpbin.org/ip" 这个网站会返回你的IP地址，非常适合测试代理是否生效
从ipipgo API获取的代理IP信息（假设我们拿到的IP是1.2.3.4，端口是8080）
proxy_ip = "1.2.3.4"
proxy_port = "8080"
构建代理字典格式
proxies = {
"http": f"http://{proxy_ip}:{proxy_port}",
"https": f"http://{proxy_ip}:{proxy_port}" 注意，很多代理HTTP和HTTPS用的是同一个地址和端口
}
try:
使用代理发送请求
response = requests.get(target_url, proxies=proxies, timeout=10)
print("请求成功！返回内容：")
print(response.text) 打印返回的内容，你会看到显示的是代理IP，而不是你的真实IP
except requests.exceptions.RequestException as e:
print("请求出错：", e)
这段代码的关键在于proxies这个字典。运行后，如果网站返回的IP地址和你设置的代理IP一致，那就恭喜你，代理设置成功生效了！
第三步：解析网页内容，提取有用信息
光拿到网页整个的HTML代码还不够，我们需要的是里面的具体数据，比如商品价格、新闻标题等。这时就要请出BeautifulSoup了。
假设我们要从一个简单的新闻列表页里抓取所有新闻标题和链接：
import requests
from bs4 import BeautifulSoup
使用代理访问一个示例新闻页面
target_url = "https://example-news-site.com/list" 请替换为真实的网址
proxies = {
"http": "http://1.2.3.4:8080", 替换为你的有效代理IP
"https": "http://1.2.3.4:8080"
}
try:
response = requests.get(target_url, proxies=proxies, timeout=10)
response.encoding = 'utf-8' 设置编码，防止中文乱码
检查请求是否成功
if response.status_code == 200:
使用BeautifulSoup解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
假设每个新闻标题都在一个 标签里的 链接中
你需要根据实际网页结构来调整选择器
news_list = soup.find_all('h2')
for index, news in enumerate(news_list, 1):
link_tag = news.find('a')
if link_tag:
title = link_tag.text.strip() 获取链接的文本，即新闻标题
link = link_tag.get('href') 获取链接的地址
print(f"新闻 {index}: {title}")
print(f"链接: {link}")
else:
print(f"访问网页失败，状态码：{response.status_code}")
except Exception as e:
print("出错了：", e)
这里的核心是soup.find_all('h2')，它能够找到网页中所有的<h2>标签。你需要根据你要抓取的实际网站，通过浏览器的“检查”功能（按F12），查看目标数据所在的HTML标签和结构，然后调整这个选择器。
第四步：让程序更健壮——处理异常和设置间隔
直接爬取很容易被网站发现并封IP，即使用了代理，我们也需要遵守“礼貌”的爬虫准则。
1. 添加随机延时： 不要在短时间内发出大量请求。在每个请求之间暂停一会儿。
import time
import random
在连续请求之间暂停一段时间（比如2到5秒之间的随机时间）
time.sleep(random.uniform(2, 5))
2. 处理各种异常： 网络请求充满不确定性，你的代码必须能处理错误。
try:
response = requests.get(url, proxies=proxies, timeout=10)
response.raise_for_status() 如果状态码不是200，会抛出异常
except requests.exceptions.Timeout:
print("请求超时，可能是网络或代理速度慢")
except requests.exceptions.HTTPError as err:
print(f"HTTP错误: {err}")
except requests.exceptions.RequestException as err:
print(f"其他请求错误: {err}")
3. 实现代理IP自动切换： 可以从ipipgo的API一次性获取多个IP，然后轮流使用，这样就更难被追踪了。
完整项目代码示例
下面我们把上面所有的步骤整合在一起，形成一个完整的、可以运行的小项目。这个例子会使用代理IP抓取一个页面上的特定信息，并考虑了异常处理和延时。
import requests
from bs4 import BeautifulSoup
import time
import random
配置信息
IPIPGO_API_URL = "http://api.ipipgo.com/getip?key=YOUR_API_KEY&format=json" 替换你的API
TARGET_URL = "https://httpbin.org/ip" 目标网站，这里用httpbin做演示
def get_proxy_from_ipipgo():
"""从ipipgo API获取一个代理IP"""
try:
resp = requests.get(IPIPGO_API_URL, timeout=10)
if resp.status_code == 200:
data = resp.json()
return data.get('ip'), data.get('port')
else:
print("从ipipgo获取代理IP失败")
return None, None
except Exception as e:
print(f"获取代理IP时出错: {e}")
return None, None
def scrape_with_proxy():
"""使用代理进行网页抓取"""
proxy_ip, proxy_port = get_proxy_from_ipipgo()
if not proxy_ip:
print("无法获取代理IP，程序退出")
return
proxies = {
"http": f"http://{proxy_ip}:{proxy_port}",
"https": f"http://{proxy_ip}:{proxy_port}"
}
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
try:
print(f"正在使用代理 {proxy_ip}:{proxy_port} 访问网站...")
response = requests.get(TARGET_URL, proxies=proxies, headers=headers, timeout=15)
response.raise_for_status() 检查请求是否成功
print("抓取成功！返回信息：")
print(response.text)
except requests.exceptions.RequestException as e:
print(f"请求过程中发生错误: {e}")
if __name__ == "__main__":
scrape_with_proxy()
如果需要连续抓取多个页面，可以在这里加循环和延时
time.sleep(random.uniform(1, 3))
常见问题QA
Q1: 为什么我用了代理IP，还是被网站封了？
A1: 这可能有几个原因：1) 你使用的代理IP质量不高，可能已经被很多用户用过，目标网站已经将其列入黑名单。这就是为什么推荐使用像ipipgo这样提供高质量、纯净住宅IP的服务商。2) 你的爬虫行为过于“激进”，比如请求频率太高。即使换了IP，过于频繁的访问模式也会被识别出来。请务必在请求之间设置随机延时。
Q2: 我应该选择动态住宅代理还是静态住宅代理？
A2: 这取决于你的项目需求：
- 动态住宅代理（如ipipgo的动态住宅套餐）：IP会按一定频率变化。适合大规模数据抓取、价格监控等需要极高匿名性的场景，能有效规避封禁。
- 静态住宅代理（如ipipgo的静态住宅套餐）：一个IP会保持较长时间不变。适合需要保持登录状态（如管理社交媒体账号）、访问对IP稳定性要求高的网站等场景。
对于新手入门和大多数常规抓取任务，从动态住宅代理开始会更简单、安全。
Q3: 代码运行后报错，提示代理连接失败，怎么办？
A3: 检查你的代理IP和端口号是否填写正确。确认你的代理服务（比如ipipgo的套餐）是否在有效期内且流量充足。可能是网络暂时性问题，可以尝试重新运行代码，或者联系代理服务商的客服检查IP池状态。
总结
通过这个完整的项目实战，你应该已经掌握了使用Python和代理IP构建基础网页抓取器的核心技能。关键点在于：使用高质量的代理IP（如ipipgo）来保护你的真实IP，结合Requests库发送请求，用BeautifulSoup解析数据，并记得要礼貌地爬取（加延时、处理异常）。
网页抓取是一个实践性很强的技能，多动手、多尝试，遇到问题耐心排查，你的技术会很快提升。祝你爬虫之路顺利！
简体中文 
English 
Español 
Deutsch 
Français