正则表达式是什么？为什么网页抓取离不开它？
简单来说，正则表达式就像是一把万能钥匙，专门用来在一大段文字里快速找到你想要的特定内容。想象一下，你拿到一个网页的源代码，里面密密麻麻全是HTML标签和文字，而你需要精准地从中提取出商品价格、用户评论或者文章标题，这时候正则表达式就能大显身手了。
在网页抓取中，我们通过程序（比如Python脚本）自动访问网页，拿到网页的原始文本数据。但这份数据是未经加工的，我们需要用正则表达式定义出我们需要的文本“模样”，比如价格通常是“数字+小数点+数字”的组合，邮箱地址里一定会包含一个“@”符号。程序就能根据这个“模样”去文本里进行匹配和提取。
当你频繁地从同一个网站抓取数据时，你的IP地址很容易被网站识别出来，从而导致访问被限制或封禁。这时，使用高质量的代理IP服务，如ipipgo，就至关重要。通过轮换不同的真实住宅IP地址，你的抓取请求看起来就像是来自世界各地不同用户的正常访问，从而有效规避反爬机制，保证数据抓取的稳定性和成功率。
基础入门：几个必须掌握的正则表达式元字符
别被“元字符”这个词吓到，它们其实就是一些有特殊含义的符号。掌握下面这几个，你就能解决80%的匹配问题。
- . （点号）：匹配任何一个单个字符（除了换行符）。例如，正则 `a.c` 可以匹配到 “abc”、“a@c”、“a c”。
- （星号）：匹配前面的字符零次或多次。例如，`abc` 可以匹配 “ac”、“abc”、“abbc”。
- + （加号）：匹配前面的字符一次或多次。例如，`ab+c` 可以匹配 “abc”、“abbc”，但不能匹配 “ac”。
- ? （问号）：匹配前面的字符零次或一次。例如，`colou?r` 可以匹配 “color” 和 “colour”。
- d：匹配一个数字，相当于 `[0-9]`。
- w：匹配一个字母、数字或下划线，相当于 `[A-Za-z0-9_]`。
- [] （中括号）：匹配括号内的任意一个字符。例如，`[abc]` 可以匹配 “a”、“b” 或 “c”。
- () （小括号）：将括号内的内容定义为一个组，方便我们单独提取出来。
实战演练：用正则表达式提取网页关键信息
假设我们有一个简单的网页片段，里面包含我们需要的信息：
<html>
<body>
<h1>商品列表</h1>
<div class="product">
<span class="name">苹果手机</span>
<span class="price">价格：5999元</span>
</div>
<div class="product">
<span class="name">华为笔记本</span>
<span class="price">价格：6999元</span>
</div>
</body>
</html>
我们的目标是提取出所有商品名称和价格。我们可以编写如下Python代码（这里使用 `re` 模块）：
import re
html_content = """（上面那段HTML代码）"""
正则表达式1：匹配商品名称
含义：匹配 `<span class="name">` 和 `</span>` 之间的任意内容
name_pattern = r'<span class="name">(.?)</span>'
正则表达式2：匹配商品价格（只提取数字部分）
含义：在 `<span class="price">价格：` 后面匹配一个或多个数字，直到 `元` 为止
price_pattern = r'<span class="price">价格：(d+)元</span>'
使用findall方法找到所有匹配项
names = re.findall(name_pattern, html_content)
prices = re.findall(price_pattern, html_content)
将结果组合起来
for i in range(len(names)):
print(f"商品：{names[i]}, 价格：{prices[i]}元")
运行结果：
商品：苹果手机, 价格：5999元
商品：华为笔记本, 价格：6999元
代码解释：
- `(.?)` 是一个经典组合。`.` 匹配任意字符，“ 表示重复多次，`?` 在这里表示非贪婪模式，意思是匹配到第一个 `</span>` 就停止，而不是匹配到最后一个。这对于提取被标签包围的内容非常关键。
- `(d+)` 表示匹配一个或多个数字，并用括号将其捕获为一个组，这样 `re.findall` 就只返回这个组里的内容（即纯数字）。
结合代理IP：让数据抓取更稳定、更高效
直接对目标网站进行高频抓取，无异于“裸奔”，很快就会被封IP。将正则表达式抓取技巧与代理IP结合，才是专业做法。以下是结合ipipgo代理IP的改进版代码示例：
import requests
import re
配置ipipgo代理IP（这里以HTTP代理为例）
proxies = {
'http': 'http://用户名:密码@proxy.ipipgo.com:端口',
'https': 'https://用户名:密码@proxy.ipipgo.com:端口'
}
目标网址
url = 'https://example.com/products'
try:
通过代理发送请求
response = requests.get(url, proxies=proxies, timeout=10)
response.encoding = 'utf-8' 设置编码
html_content = response.text
使用正则表达式提取数据（同上）
name_pattern = r'<span class="name">(.?)</span>'
price_pattern = r'<span class="price">价格：(d+)元</span>'
names = re.findall(name_pattern, html_content)
prices = re.findall(price_pattern, html_content)
for i in range(len(names)):
print(f"商品：{names[i]}, 价格：{prices[i]}元")
except requests.exceptions.RequestException as e:
print(f"请求失败：{e}")
使用ipipgo代理IP的优势在于：
- 高匿名性：ipipgo提供的动态住宅代理IP来自真实家庭网络，目标网站无法识别这是代理请求，大大降低了被反爬的风险。
- 全球覆盖：如果你需要抓取特定国家或地区的网站内容，ipipgo覆盖220+国家的IP资源可以让你轻松实现地域定位。
- 稳定可靠：无论是短时高频抓取还是长期稳定任务，ipipgo的IP池都能提供高可用性的服务，确保你的抓取任务不会因IP问题而中断。
常见问题与解答（QA）
Q1：正则表达式总是匹配不到内容，或者匹配到太多不需要的内容，怎么办？
A1： 这是初学者最常见的问题。确保你的正则表达式能精确描述目标文本的“边界”。多用非贪婪模式 `.?` 而不是贪婪模式 `.`。最好先用在线正则表达式测试工具（如 regex101.com）对你的表达式和一小段样本文本进行测试，确认无误后再写入代码。
Q2：为什么我用了代理IP，还是被网站封了？
A2： 可能的原因有几个：1）代理IP质量不高，已经被目标网站标记。建议使用像ipipgo这样提供高质量纯净住宅IP的服务商。2）抓取频率过高。即使更换IP，过于密集的请求仍可能触发风控。需要在代码中设置合理的请求间隔（如 `time.sleep(2)`）。3）请求头（User-Agent等）没有正确模拟真实浏览器。需要在代码中添加合适的请求头信息。
Q3：除了正则表达式，还有没有更简单的网页数据提取方法？
A3： 有的。对于结构规整的HTML页面，使用专门的解析库（如Python的 `BeautifulSoup` 或 `lxml`）通常是更优雅、更稳定的选择。它们能更好地处理HTML的层级结构。正则表达式更适合处理非结构化的文本，或者在这些解析库难以处理的复杂情况下作为补充。
Q4：ipipgo的代理IP如何帮助我进行大规模的网页抓取？
A4： ipipgo的代理IP服务，特别是其动态住宅代理，专为大规模数据抓取设计。你可以设置IP按请求轮换，这样每个请求都来自不同的IP地址，模拟了全球真实用户的访问行为，使得你的抓取行为完全“融入”在正常流量中，极难被网站的反爬虫系统察觉和封锁，从而保障了大规模抓取任务的顺利进行。
简体中文 
English 
Español 
Deutsch 
Français