Python 从文件加载 JSON: 本地数据处理

JSON配置文件怎么玩转代理IP？

搞爬虫的老铁们都知道，代理IP就像游戏里的复活币，关键时刻能续命。咱们用Python处理本地JSON文件时，经常要加载代理IP配置。举个栗子，你有个叫proxy_config.json的文件，长这样：

{
    "proxy_pool": [
        {"http": "http://user:pass@12.34.56.78:8888"},
        {"https": "https://user:pass@12.34.56.89:8888"}
    ],
    "timeout": 10
}

加载这个文件超简单，但要注意路径别写错！我一般用绝对路径保险点：

import json
import os

config_path = os.path.join(os.path.dirname(__file__), 'proxy_config.json')
with open(config_path, 'r', encoding='utf-8') as f:
    config = json.load(f)

代理IP池怎么玩出花样？

拿到配置文件后，咱们得把IP池玩出节奏感。推荐用random模块打乱顺序，再搞个循环队列，像这样：

from itertools import cycle
import random

random.shuffle(config['proxy_pool'])
proxy_cycle = cycle(config['proxy_pool'])

每次请求时next(proxy_cycle)就能轮着用，比单IP稳多了。不过要注意，有些网站会检测IP更换频率，这时候就要控制切换速度。

异常处理三大坑

实战中这三个坑我踩过N次：

1. 文件编码不对（特别是Windows系统）
2. JSON格式错误（少个逗号分分钟报错）
3. 代理认证失败（密码输错像走错家门）

建议用try-except包起来，像这样保命：

try:
    with open('proxy_config.json', 'r') as f:
        config = json.load(f)
except json.JSONDecodeError as e:
    print(f"配置文件格式不对！错误位置：第{e.lineno}行")
except FileNotFoundError:
    print("文件走丢了！检查路径！")

IPIPGO代理服务实战技巧

用过七八家代理服务，IPIPGO有个独门绝技：他们的API返回的数据直接就是标准JSON格式，不用自己解析。比如获取动态IP池：

import requests

resp = requests.get('https://api.ipipgo.com/get_proxy', params={'type': 'json'})
ip_pool = resp.json()['proxies']

搭配他们的智能路由功能，能自动匹配最快节点。实测延迟能降40%左右，特别是处理海量数据时贼明显。

常见问题Q&A

Q：配置文件更新后怎么自动加载？
A：用watchdog库监控文件变动，或者简单粗暴点，每次请求前检查文件修改时间

Q：代理IP突然全挂了怎么办？
A：在代码里加个本地IP兜底策略，像这样：

proxies = proxy_cycle.next() if len(proxy_pool) > 0 else None

Q：怎么测试代理IP是否有效？
A：IPIPGO后台有实时检测工具，或者自己写个检测脚本：

test_url = 'http://httpbin.org/ip'
try:
    requests.get(test_url, proxies=proxy, timeout=5)
except:
    print("这个IP凉凉了")

配置文件管理小心机

最后分享几个私藏技巧：

1. 把敏感信息（比如API密钥）单独存个_credentials.json
2. 用注释字段记录IP到期时间
3. 定期用json.dump做配置备份
4. 用jq命令（Linux/Mac）快速检查JSON文件

比如这样备份配置：

import time
with open(f'config_backup_{int(time.time())}.json', 'w') as f:
    json.dump(config, f, indent=2)

搞代理IP就像炒菜，火候很重要。IPIPGO的动态智能调度功能，能自动帮你调节”火力”，新手老手都适合。他们的技术文档写得贼详细，遇到问题直接去查比百度管用。