为什么抓取SEMrush需要代理IP？
如果你直接用自己电脑的IP去大量抓取SEMrush的数据，很快就会发现访问被限制。这是因为SEMrush这类平台都有反爬虫机制，会监控同一个IP的访问频率。短时间内请求太多，系统就会判定为异常流量，轻则暂时封禁，重则永久拉黑。
这就像你去一家很火的超市，如果频繁地跑进跑出，保安肯定会注意到你。而代理IP的作用，就是给你换不同的“外套”（IP地址），让保安觉得每次都是不同的顾客在正常购物，从而降低被盯上的风险。
使用ipipgo提供的代理IP服务，你可以拥有一个庞大的IP池，每次请求SEMrush时都切换一个不同的IP，模拟来自全球各地真实用户的访问行为，这样就能有效绕过频率限制，保证数据抓取的稳定性和连续性。
Selenium基础设置
Selenium是一个自动化测试工具，但它也是模拟浏览器行为进行数据抓取的利器。它能真实地打开网页、点击按钮、输入文字，就像真人操作一样，很难被网站区分出来。
你需要安装必要的Python库：
pip install selenium webdriver-manager
接下来，进行最基础的Selenium设置，这里使用Chrome浏览器为例：
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import time
自动下载和匹配ChromeDriver
service = Service(ChromeDriverManager().install())
创建浏览器选项
options = webdriver.ChromeOptions()
建议无头模式运行，不打开图形界面，节省资源
options.add_argument('--headless=new')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
启动浏览器
driver = webdriver.Chrome(service=service, options=options)
这段代码配置了一个基本的、在后台运行的Chrome浏览器实例，为后续集成代理IP做好准备。
如何为Selenium配置ipipgo代理IP
这是整个教程的核心部分。将ipipgo的代理IP集成到Selenium中，其实就是在启动浏览器时，告诉它所有的网络请求都要通过我们指定的代理服务器发出。
ipipgo代理支持HTTP和SOCKS5协议，这里以HTTP协议为例。你需要在ipipgo用户后台获取你的代理服务器地址、端口、用户名和密码。配置代码如下：
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
ipipgo代理信息（请替换为你的实际信息）
proxy_host = "gateway.ipipgo.com" 代理服务器地址
proxy_port = "10000" 端口
proxy_username = "your_username" 你的用户名
proxy_password = "your_password" 你的密码
构建代理认证字符串（适用于HTTP/HTTPS代理）
proxy_auth = f"{proxy_username}:{proxy_password}@{proxy_host}:{proxy_port}"
proxy_url_http = f"http://{proxy_auth}"
proxy_url_https = f"https://{proxy_auth}"
配置浏览器选项
options = webdriver.ChromeOptions()
！！！关键步骤：添加代理参数
options.add_argument(f'--proxy-server={proxy_url_http}')
其他优化选项
options.add_argument('--headless=new')
options.add_argument('--no-sandbox')
启动带代理的浏览器
service = Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=service, options=options)
测试IP地址，确认代理是否生效
driver.get("http://httpbin.org/ip")
print(driver.page_source) 打印出的IP应该是ipipgo代理的IP，不是你本地的
driver.quit()
要点说明：通过--proxy-server参数，我们将代理服务器地址传递给了Chrome浏览器。这样，浏览器发出的所有请求都会经由ipipgo的代理服务器，从而实现IP地址的切换。建议在正式抓取前，先访问`http://httpbin.org/ip`这样的网站验证代理是否设置成功。
抓取SEMrush数据的实战策略
配置好代理后，就可以开始抓取SEMrush了。但直接蛮干依然有风险，需要配合一些策略。
1. 控制访问节奏：即使换了IP，每个IP的访问行为也要模拟真人。不要在1分钟内用同一个IP发起几十次请求。合理的做法是设置随机延时。
import random
import time
def random_delay(min_sec=3, max_sec=10):
"""生成随机延时，模拟人类操作间隔"""
time.sleep(random.uniform(min_sec, max_sec))
在每次关键操作前加入延时
random_delay()
driver.find_element(...).click() 模拟点击某个标签
random_delay(5, 15)
driver.get(...) 访问下一个页面
2. 使用ipipgo的轮换会话（Rotating Proxy）：ipipgo的动态住宅代理支持自动轮换IP。你可以设置为每请求几次或每隔几分钟就自动更换一个IP，这能极大降低被封的几率。你只需要在代理URL中使用轮换会话的特定端口即可，无需在代码中频繁修改IP。
3. 抓取目标明确：提前规划好需要抓取哪些字段（如关键词、流量估值、排名位置等），用Selenium精准定位元素，获取数据后立即关闭页面，减少不必要的页面停留和资源加载。
常见问题与解决方案（QA）
Q1：Selenium提示代理连接失败或超时怎么办？
A：检查你的代理地址、端口、用户名和密码是否填写正确。可能是网络环境问题，尝试ping一下代理服务器地址看是否通畅。确认你的ipipgo账户余额充足且套餐在有效期内。
Q2：已经用了代理，为什么还是被SEMrush识别了？
A：这可能有两个原因。一是行为指纹被检测，你的Selenium脚本行为太规律，不像真人。解决方案是加入更多的随机操作，如随机移动鼠标、随机滚动页面。二是代理IP质量不佳，如果使用的代理IP是数据中心IP或已被SEMrush标记，很容易被识别。强烈建议使用ipipgo的住宅代理IP，因为它们来自真实的家庭网络，信誉度极高，更难被识别为代理。
Q3：ipipgo的静态住宅代理和动态住宅代理该怎么选？
A：这取决于你的任务场景：
动态住宅代理（IP自动轮换）：适合需要大量、高频请求的任务，比如大规模扫描关键词、批量查询域名数据。ipipgo的动态住宅IP池巨大，能有效分散请求。
静态住宅代理（长期固定IP）：适合需要保持会话状态的任务，比如需要登录SEMrush账户进行长时间监控。一个固定IP可以维持稳定的登录状态。
对于大多数抓取SEMrush数据的场景，从动态住宅代理（标准）套餐开始尝试是个不错的选择。
Q4：抓取到的数据如何保存和处理？
A：建议将抓取到的数据立即结构化并保存，不要囤积在内存中。可以使用Python的`csv`模块或`pandas`库将数据实时写入CSV或Excel文件。每抓取一条或一批数据就执行一次写入操作，防止程序意外崩溃导致数据丢失。
总结
通过结合Selenium和ipipgo高质量的代理IP，你可以构建一个稳定、高效的SEMrush数据抓取方案。核心在于利用代理IP池来规避访问频率限制，同时用Selenium模拟人类浏览行为降低被检测的风险。
成功的关键不仅在于工具，更在于策略。合理设置请求间隔、根据任务选择合适的ipipgo代理类型、并处理好抓取到的数据，这样才能长期、稳定地获取到你需要的SEO洞察数据。
简体中文 
English 
Español 
Deutsch 
Français