BeautifulSoup获取文本：网页文本提取

当爬虫遇上验证弹窗？试试这招组合拳

那天老王正用BeautifulSoup写爬虫，突然发现目标网站弹出了验证码——得，IP又被封了。这种情况咱们做数据抓取的都懂，这时候就该代理IP上场救急了。今天咱就唠唠怎么让BeautifulSoup和代理IP配合干活。

基础操作：三行代码搞定文本抓取

先来段最基础的BeautifulSoup操作，给刚入门的兄弟打个样：

import requests
from bs4 import BeautifulSoup

resp = requests.get('http://目标网站')
soup = BeautifulSoup(resp.text, 'html.parser')
print(soup.get_text())

这代码看着清爽，但跑起来准栽跟头。为啥？现在网站都精着呢，连着请求三五次立马给你IP拉黑。

给爬虫穿件隐身衣

这时候就需要代理IP来打掩护了。拿ipipgo的服务举个栗子，他们家的动态IP池够大，切换起来也方便。改改代码加上代理：

proxies = {
    'http': 'http://用户名:密码@gateway.ipipgo.com:9020',
    'https': 'http://用户名:密码@gateway.ipipgo.com:9020'
}

resp = requests.get('http://目标网站', proxies=proxies, timeout=10)

重点注意这里要用ipipgo提供的专属隧道地址，别家的通道可能不稳定。他们家每个代理IP最长能用5分钟，自动切换这点特别省心。

反爬对抗实战技巧

碰到这些情况别慌：
• 突然返回空白页面 → 换IP
• 跳转到验证码页面 → 降低请求频率
• 返回403错误 → 检查请求头设置

建议用这个配置组合：

小白常见问题答疑

Q：用了代理还是被封？
A：检查两点：1.代理是否生效 2.请求头是否带浏览器指纹

Q：ipipgo怎么收费？
A：他们有按时长和流量两种计费方式，新注册送1G体验流量，够测试用了。

Q：提取的文本有乱码咋整？
A：在BeautifulSoup里指定编码：
soup = BeautifulSoup(resp.content, 'html.parser', from_encoding='gb18030')

升级玩法：分布式采集架构

当需要大规模采集时，建议这样搭配：
1. 主节点调度任务
2. 多个爬虫节点通过ipipgo获取不同出口IP
3. 数据库实时更新可用代理IP
4. 失败任务自动重分配到新节点

最后叨叨句，代理IP不是万能药，得配合请求频率控制、请求头伪装这些手段。最近发现ipipgo后台能直接看到每个IP的存活时间，这个功能对调试帮助挺大的。大家有啥实战中遇到的奇葩问题，欢迎来交流~