Python加载JSON文件: 本地数据处理

Python处理本地Json文件的保姆级教程

搞爬虫的朋友们应该都遇到过这种情况——辛辛苦苦采集的数据存在json文件里，打开一看全是乱码或者格式错乱。今天就手把手教你用Python驯服这些调皮的json数据，顺便聊聊怎么用ipipgo的代理ip服务让数据处理更顺畅。

一、json文件读取的常见坑位

先看这段代码，新手最爱犯的错：

import json

with open('data.json') as f:
    data = json.load(f)
 报错！json.decoder.JSONDecodeError

这里藏着三个致命细节：

1. 文件编码问题（用encoding='utf-8'参数）
2. 文件路径错误（建议用绝对路径）
3. json格式不规范（逗号缺失或多了逗号）

推荐改用防崩溃写法：

import json
from pathlib import Path

json_path = Path(__file__).parent / 'data.json'
try:
    with open(json_path, encoding='utf-8') as f:
        data = json.load(f)
except json.JSONDecodeError as e:
    print(f"第{e.lineno}行出错了，快去检查逗号和括号！")

二、给json数据穿个代理马甲

处理本地数据时，经常需要连接外部API验证数据有效性。这时候就要请出ipipgo的代理ip服务了，他们的独门绝技：

实战示例：用代理ip批量验证数据有效性

import requests
from itertools import cycle

proxies = cycle([
    'http://user:pass@proxy1.ipipgo.com:8000',
    'http://user:pass@proxy2.ipipgo.com:8000'
])

for item in data:
    try:
        resp = requests.get('https://api.example.com/validate',
                          proxies={'http': next(proxies)},
                          timeout=10)
        item['valid'] = resp.json()['status']
    except Exception as e:
        print(f"验证失败，建议换ipipgo的优质代理")

三、必须知道的json骚操作

1. 时间戳转换：json里的时间经常是Unix时间戳，用这个妙招转换：

from datetime import datetime

timestamp = data['create_time']
data['create_date'] = datetime.fromtimestamp(timestamp).strftime('%Y-%m-%d')

2. 大文件分块读取：遇到几百MB的json文件别慌

import ijson

with open('big_data.json', 'r') as f:
    parser = ijson.parse(f)
    for prefix, event, value in parser:
        if prefix == 'item.field':
             处理单个字段

四、实战QA环节

Q：json文件打开全是乱码怎么办？
A：先用chardet检测编码：pip install chardet，然后指定正确编码格式

Q：代理ip频繁失效影响数据处理？
A：这就是推荐ipipgo的原因，他们的动态住宅代理池存活率高达99%，特别适合长期跑数据任务

Q：处理完的数据怎么存回json？
A：用这个保险写法：

with open('new_data.json', 'w', encoding='utf-8') as f:
    json.dump(data, f, ensure_ascii=False, indent=2)

五、避坑指南

1. 遇到None值处理：json里的null在Python会转成None，记得提前处理：
data.get('field', 'default_value')

2. 循环写入时千万记得清空文件，否则数据会叠罗汉：
用'w'模式而不是'a'模式

最后安利下，用ipipgo的静态住宅代理做数据采集，成功率能提升60%不止。他们的API支持按需提取IP，配合Python的requests库简直不要太香。遇到数据处理卡壳的时候，换个优质代理可能就柳暗花明了～