网站数据抓取：爬虫代理IP配置方案

搞数据抓取必须知道的代理门道

搞网站数据抓取的朋友都懂，最头疼的就是被目标网站封IP。昨天隔壁老王还在吐槽，他的爬虫程序刚跑半小时，服务器IP就被拉黑了，整得他只能蹲机房手动换线路。这时候要是会用代理IP，哪至于这么狼狈？

代理IP说白了就是给爬虫穿隐身衣，让网站以为每次请求都是不同用户在操作。但市面上的代理类型五花八门，选不对反而更糟心。比如做电商价格监控，用数据中心IP容易被识破，这时候就得用住宅IP才靠谱。

三招选对代理IP类型

根据我们给上千家企业做方案的经验，选代理主要看这三个维度：

1. 动静有别：
动态IP适合高频抓取（比如抢票脚本），IP每5-15分钟自动换；静态IP适合需要维持登录状态的场景（比如社交媒体监控）。

2. 住宅优先：
住宅IP来自真实家庭宽带，反爬策略最难识别。像ipipgo的动态住宅套餐，7块多1个G流量，性价比吊打同行。

3. 协议匹配：
新手建议直接用HTTPS协议，省心不折腾。老司机可以用Socks5协议，传输速度更快。这里给个Python的配置示例：

import requests

proxies = {
    'http': 'http://user:pass@gateway.ipipgo.com:9020',
    'https': 'http://user:pass@gateway.ipipgo.com:9020'
}

resp = requests.get('目标网址', proxies=proxies)

实战配罝指南（手把手版）

以Scrapy框架为例，在settings.py里加这几行：

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
}

IPIPGO_PROXY = "http://user:pass@gateway.ipipgo.com:9020"

def process_request(request, spider):
    request.meta['proxy'] = IPIPGO_PROXY

注意要把user和pass换成自己在ipipgo后台拿到的密钥。建议在代码里加个异常重试机制，遇到403错误自动切换IP节点。

避坑问答录

Q：代理IP用着用着就失效？
A：八成是用了劣质代理池。ipipgo的住宅IP存活周期都在12小时以上，后台还能查IP可用率。

Q：同时开多线程会封号吗？
A：看代理套餐类型。动态住宅（企业版）支持500并发，普通套餐建议控制在50线程以内。

Q：需要自己维护IP池吗？
A：用ipipgo的API接口就行，每次请求自动分配新IP。代码示例：

import random

def get_proxy():
    proxy_list = requests.get("https://api.ipipgo.com/dynamic").json()
    return random.choice(proxy_list)

省钱套餐怎么选

根据业务规模对号入座：
• 个人小项目：动态住宅（标准）7.67元/GB
• 企业级采集：动态住宅（企业）9.47元/GB（带高并发权限）
• 长期监控需求：静态住宅35元/IP/月

最后提醒新手朋友，别信那些免费代理。我们接过好多案例，客户图便宜用免费IP，结果数据没抓到，反被植入挖矿脚本。正规服务商都有流量审计机制，像ipipgo的专线都是运营商直签，安全这块拿捏得死死的。