Python关键词提取教程：从文本中自动提取关键信息的3种方法

为什么要用代理IP进行关键词提取？

当你用Python写爬虫抓取网页内容做关键词分析时，可能会遇到IP被封的问题。很多网站都有反爬虫机制，如果短时间内从同一个IP地址发出大量请求，服务器会认为这是恶意行为，直接封禁IP。这时候，代理IP就派上用场了。

使用代理IP，相当于给你的爬虫换上了“隐身衣”。每次请求都可以通过不同的IP地址发出，大大降低了被目标网站识别和封禁的风险。特别是使用ipipgo的动态住宅代理IP，这些IP来自真实家庭网络，看起来就像普通用户的正常访问，隐蔽性非常高。

准备工作：安装必要库并配置代理

在开始关键词提取前，需要先安装几个Python库：

pip install requests jieba sklearn beautifulsoup4

接下来配置代理IP。以ipipgo为例，假设你已经获取了代理IP信息：

import requests

 配置ipipgo代理IP
proxies = {
    'http': 'http://用户名:密码@代理服务器地址:端口',
    'https': 'https://用户名:密码@代理服务器地址:端口'
}

 使用代理发送请求
response = requests.get('https://目标网站.com', proxies=proxies)
content = response.text

使用代理IP后，你的请求会通过ipipgo的代理服务器转发，目标网站看到的是代理IP而不是你的真实IP。

方法一：基于词频统计的关键词提取

这是最简单直接的方法，通过统计词语出现的频率来判断重要性。

import jieba
from collections import Counter

def extract_keywords_by_frequency(text, top_k=10):
     使用jieba分词
    words = jieba.cut(text)
    
     过滤掉标点符号和停用词
    filtered_words = []
    for word in words:
        if len(word) > 1 and word not in ['的', '了', '是', '在', '和']:   简单停用词
            filtered_words.append(word)
    
     统计词频
    word_freq = Counter(filtered_words)
    
     返回前top_k个关键词
    return word_freq.most_common(top_k)

 示例：从网页内容提取关键词
url = 'https://目标网站.com'
response = requests.get(url, proxies=proxies)
keywords = extract_keywords_by_frequency(response.text)
print("基于词频的关键词：", keywords)

这种方法适合快速提取显性关键词，但对于同义词和语义相关的词处理不够智能。

方法二：使用TF-IDF算法提取关键词

TF-IDF（词频-逆文档频率）算法能更好地衡量词语的重要性，不仅考虑在当前文档中的出现频率，还考虑在语料库中的普遍性。

from sklearn.feature_extraction.text import TfidfVectorizer
import jieba

def chinese_tokenizer(text):
    return jieba.cut(text)

def extract_keywords_tfidf(documents, top_k=10):
     将分词后的文本用空格连接（sklearn要求）
    tokenized_docs = [' '.join(chinese_tokenizer(doc)) for doc in documents]
    
     创建TF-IDF向量器
    vectorizer = TfidfVectorizer()
    tfidf_matrix = vectorizer.fit_transform(tokenized_docs)
    
     获取特征词
    feature_names = vectorizer.get_feature_names_out()
    
     提取关键词（以第一个文档为例）
    first_doc_vector = tfidf_matrix[0]
    feature_index = first_doc_vector.indices
    tfidf_scores = first_doc_vector.data
    
     组合词语和得分
    word_scores = [(feature_names[i], tfidf_scores[j]) 
                   for j, i in enumerate(feature_index)]
    
     按得分排序
    word_scores.sort(key=lambda x: x[1], reverse=True)
    
    return word_scores[:top_k]

 示例：批量处理多个网页
urls = ['https://网站1.com', 'https://网站2.com', 'https://网站3.com']
documents = []
for url in urls:
    response = requests.get(url, proxies=proxies)
    documents.append(response.text)

keywords = extract_keywords_tfidf(documents)
print("TF-IDF关键词：", keywords)

TF-IDF适合处理多个文档的场景，能识别出在特定文档中重要但在其他文档中不常见的词语。

方法三：结合TextRank算法提取关键词

TextRank算法基于PageRank思想，将文本中的词语构建成图结构，通过词语之间的共现关系计算重要性。

import networkx as nx
from itertools import combinations

def extract_keywords_textrank(text, window_size=2, top_k=10):
    words = list(jieba.cut(text))
    
     构建词语图
    graph = nx.Graph()
    
     添加节点
    for i, word in enumerate(words):
        if len(word) > 1:   过滤单字
            graph.add_node(word)
    
     添加边（基于滑动窗口）
    for i in range(len(words) - window_size + 1):
        window_words = [words[j] for j in range(i, i + window_size) if len(words[j]) > 1]
        
         窗口内所有词语两两连接
        for word1, word2 in combinations(set(window_words), 2):
            if graph.has_edge(word1, word2):
                graph[word1][word2]['weight'] += 1
            else:
                graph.add_edge(word1, word2, weight=1)
    
     计算PageRank得分
    scores = nx.pagerank(graph, weight='weight')
    
     排序返回
    sorted_scores = sorted(scores.items(), key=lambda x: x[1], reverse=True)
    return sorted_scores[:top_k]

 示例使用
response = requests.get('https://目标网站.com', proxies=proxies)
keywords = extract_keywords_textrank(response.text)
print("TextRank关键词：", keywords)

TextRank能捕捉词语之间的语义关系，提取的关键词更加符合上下文语境。

三种方法对比

实战案例：使用ipipgo代理进行大规模关键词监控

假设你需要监控多个竞争对手网站的关键词变化：

import time
from concurrent.futures import ThreadPoolExecutor

def monitor_keywords(urls, keywords_to_monitor, check_interval=3600):
    """监控指定关键词在多个网站的出现情况"""
    
    while True:
        results = {}
        
        def check_site(url):
            try:
                response = requests.get(url, proxies=proxies, timeout=10)
                content = response.text.lower()
                
                keyword_counts = {}
                for keyword in keywords_to_monitor:
                    count = content.count(keyword.lower())
                    keyword_counts[keyword] = count
                
                return url, keyword_counts
            except Exception as e:
                return url, {'error': str(e)}
        
         使用多线程并发检查
        with ThreadPoolExecutor(max_workers=5) as executor:
            future_to_url = {executor.submit(check_site, url): url for url in urls}
            
            for future in concurrent.futures.as_completed(future_to_url):
                url, result = future.result()
                results[url] = result
        
        print(f"监控结果：{time.strftime('%Y-%m-%d %H:%M:%S')}")
        for url, counts in results.items():
            print(f"{url}: {counts}")
        
        time.sleep(check_interval)

 配置监控
urls = ['https://competitor1.com', 'https://competitor2.com']
keywords = ['产品', '价格', '优惠', '服务']
monitor_keywords(urls, keywords)

使用ipipgo的静态住宅代理IP可以保证监控任务的稳定运行，避免因IP频繁更换导致的连接问题。

常见问题QA

Q: 代理IP会影响关键词提取的速度吗？
A: 会有轻微影响，但优质的代理服务如ipipgo通过优化网络路由，能将延迟降到最低。相比IP被封导致任务中断，这点延迟是可以接受的。

Q: 如何处理代理IP失效的情况？
A: 建议在代码中添加重试机制和IP池轮换。ipipgo提供自动IP轮换功能，当检测到IP失效时会自动切换，确保任务连续性。

Q: 关键词提取的准确率不高怎么办？
A: 可以尝试以下方法：1) 结合多种提取算法；2) 自定义领域词典；3) 调整停用词列表；4) 对结果进行人工校验和优化。

Q: 大规模抓取时如何避免被反爬？
A: 除了使用代理IP，还应该：1) 控制请求频率；2) 随机化User-Agent；3) 模拟人类浏览行为；4) 使用ipipgo的动态住宅IP，这些IP来自真实家庭网络，反爬识别难度大。

选择适合的代理IP服务

根据不同的关键词提取需求，选择合适的ipipgo代理套餐：

• 小规模测试：选择动态住宅（标准）套餐，按流量计费，成本可控
• 长期监控项目：使用静态住宅代理IP，IP稳定不变，适合需要持久连接的场景
• 企业级应用：选择动态住宅（企业）套餐，享受更高的并发和专属技术支持

无论选择哪种方案，都要确保代理IP的质量和稳定性，这是关键词提取任务成功的基础。