为什么爬数据需要代理IP？
当你频繁访问同一个网站抓取数据时，对方的服务器会很快注意到你的行为。它会发现有一个固定的IP地址在短时间内发出了大量请求，这看起来非常像机器人在操作，而不是正常的人类用户。结果就是，你的IP很快会被网站封禁，轻则返回错误页面，重则直接限制访问。
这就好比你去一家超市，每隔几秒钟就拿一件商品去收银台结账，反复不停。保安很快就会过来询问情况。代理IP的作用，就是让你可以“换不同的超市”或者“换不同的衣服”去购物，避免被同一个保安盯上。使用来自ipipgo这类服务的代理IP，你的请求会通过一个中间IP地址发出，从而隐藏你的真实来源，大大降低被识别和封锁的风险。
准备工作：选择合适的工具
在开始写代码之前，我们需要准备好“武器”。对于大多数数据抓取任务，Python是目前最主流和高效的选择，因为它有丰富的库来支持网络请求和数据处理。
核心工具清单：
- Python 3.x： 编程语言环境。
- Requests 库： 用于发送HTTP请求，获取网页内容。
- BeautifulSoup 库： 用于解析HTML，从复杂的网页代码中提取出我们需要的数据。
- Openpyxl 库： 用于创建和编辑Excel文件，将提取的数据整齐地写入表格。
你可以使用pip命令轻松安装这些库：
pip install requests beautifulsoup4 openpyxl
最重要的准备是拥有一个可靠的代理IP服务。这里我们推荐使用ipipgo的代理服务。以他们的动态住宅代理为例，其IP池非常庞大，能有效避免IP被目标网站封禁，并且支持按流量计费，对于爬虫这种间歇性、高并发的使用场景来说非常划算。
配置代理IP：以ipipgo为例
成功购买ipipgo的服务后，你会获得代理服务器的地址、端口、用户名和密码。在代码中配置代理IP有多种方式，这里介绍最常用的一种——在Requests库中设置。
假设你从ipipgo获取到的代理信息如下：
- 代理服务器地址：gateway.ipipgo.com
- 端口：30080
- 用户名：your_username
- 密码：your_password
你可以按照以下格式构建代理地址，并在发送请求时使用：
import requests
from bs4 import BeautifulSoup
构建代理地址（以HTTP为例）
proxy_username = "your_username"
proxy_password = "your_password"
proxy_host = "gateway.ipipgo.com"
proxy_port = "30080"
proxy_url = f"http://{proxy_username}:{proxy_password}@{proxy_host}:{proxy_port}"
proxies = {
"http": proxy_url,
"https": proxy_url,
}
带着代理IP去发送请求
try:
response = requests.get("https://目标网站.com", proxies=proxies, timeout=10)
如果请求成功，状态码通常是200
if response.status_code == 200:
print("请求成功！")
接下来用BeautifulSoup解析response.text
else:
print(f"请求失败，状态码：{response.status_code}")
except requests.exceptions.RequestException as e:
print(f"请求出错：{e}")
通过这样的设置，你的所有请求都将通过ipipgo的代理服务器发出，目标网站看到的是代理IP，而不是你的真实IP。
完整的自动化流程代码示例
下面我们用一个简单的例子，把获取网页、解析数据、存入Excel这三个步骤串联起来。假设我们要抓取一个新闻列表页的标题和链接。
import requests
from bs4 import BeautifulSoup
from openpyxl import Workbook
1. 配置代理 (使用你的真实ipipgo信息)
proxies = {
'http': 'http://用户名:密码@gateway.ipipgo.com:30080',
'https': 'https://用户名:密码@gateway.ipipgo.com:30080'
}
2. 目标网址
url = 'https://example-news-site.com/list'
3. 创建Excel工作簿
wb = Workbook()
ws = wb.active
ws.title = "新闻数据"
写入表头
ws['A1'] = '新闻标题'
ws['B1'] = '新闻链接'
4. 发送请求并处理异常
try:
response = requests.get(url, proxies=proxies, timeout=15)
response.raise_for_status() 如果状态码不是200，抛出异常
5. 解析网页
soup = BeautifulSoup(response.text, 'html.parser')
假设每个新闻条目都在一个class为'news-item'的div里
news_items = soup.find_all('div', class_='news-item')
row_num = 2 从第二行开始写数据
for item in news_items:
假设标题在a标签里
title_tag = item.find('a')
if title_tag:
title = title_tag.get_text(strip=True)
link = title_tag.get('href')
将数据写入Excel
ws[f'A{row_num}'] = title
ws[f'B{row_num}'] = link
row_num += 1
6. 保存Excel文件
wb.save('news_data.xlsx')
print(f"数据抓取完成！共抓取{len(news_items)}条新闻。")
except requests.exceptions.RequestException as e:
print(f"网络请求出现错误：{e}")
except Exception as e:
print(f"处理过程中出现错误：{e}")
这个脚本实现了基本的自动化流程。你可以设置定时任务（如Windows的计划任务或Linux的cron job）来让这个脚本定期运行，实现持续的数据抓取。
提升成功率与稳定性的技巧
直接套用上面的代码可能会遇到一些问题，为了让爬虫更“像人”，更稳定，这里有几个关键技巧：
- 设置随机延时： 在连续请求之间加入随机等待时间，模拟人类阅读的间隔。
- 轮换User-Agent： 每次请求使用不同的浏览器标识，避免被识别为同一个爬虫程序。
- 处理异常和重试： 网络是不稳定的，当请求失败时，代码应该能自动重试几次。
一个加入了这些技巧的改进版请求函数可能长这样：
import time
import random
def smart_request(url, proxies, retries=3):
常见的User-Agent列表
user_agents = [
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Safari/605.1.15',
... 可以准备更多
]
for i in range(retries):
try:
随机选择一个User-Agent和延时
headers = {'User-Agent': random.choice(user_agents)}
delay = random.uniform(1, 3) 随机延时1-3秒
time.sleep(delay)
response = requests.get(url, proxies=proxies, headers=headers, timeout=15)
if response.status_code == 200:
return response 成功则返回响应
else:
print(f"第{i+1}次尝试，状态码异常：{response.status_code}")
except Exception as e:
print(f"第{i+1}次尝试失败：{e}")
if i < retries - 1:
wait_time = (2 i) 指数退避，等待时间逐渐变长
print(f"等待{wait_time}秒后重试...")
time.sleep(wait_time)
print("所有重试均失败。")
return None
使用这个函数代替直接的requests.get
response = smart_request(url, proxies)
常见问题与解决方案（QA）
Q1：我明明用了代理IP，为什么还是被网站封了？
A：这可能有几个原因。第一，你使用的代理IP质量不高，可能已经被很多用户用过，目标网站已经将其标记为“可疑IP”。第二，你的爬虫行为特征太明显，比如请求频率过高、没有设置合理的延时和User-Agent。建议使用像ipipgo这样提供高质量、高匿名住宅IP的服务商，并务必完善代码中的模拟人类行为逻辑。
Q2：爬取数据时遇到复杂的验证码怎么办？
A：当网站弹出验证码时，通常意味着你的爬虫已经被识别。首先应该检查并优化上述的伪装技巧，降低触发验证码的概率。如果业务必须绕过验证码，可以考虑使用专业的验证码识别服务（需要额外成本），或者评估目标网站是否提供了官方的API接口来获取数据，这是最合规的方式。
Q3：ipipgo的动态住宅代理和静态住宅代理该怎么选？
A：这取决于你的业务场景：
- 动态住宅代理： IP会频繁更换，非常适合大规模、需要高匿名性的数据爬取，能有效避免因单个IP请求过多被封。ipipgo的动态住宅代理资源总量大，覆盖广，是按流量计费的，适合大多数爬虫场景。
- 静态住宅代理： IP在较长时间内（几天甚至几周）是固定的。适合需要保持同一会话（如模拟登录后操作）、或者目标网站需要IP有稳定信誉度的场景。ipipgo的静态住宅代理纯净度高，稳定性好。
对于刚入门或常规爬取，从动态住宅代理开始尝试通常是个不错的选择。
Q4：代码运行后生成的Excel文件是空的，怎么回事？
A：这是最常见的问题之一。请按以下步骤排查：
- 检查网络请求是否成功：打印
response.status_code，确保是200。 - 检查网页结构是否变化：用浏览器开发者工具查看目标网页的HTML结构，确认你用于查找标签的class或id名称仍然是正确的。
- 检查数据解析逻辑：打印
soup.find_all(...)的结果，看是否真的找到了数据条目。 - 检查文件保存路径：确认程序有权限在当前目录下写入文件。
简体中文 
English 
Español 
Deutsch 
Français