Carga de archivos JSON en Python: manejo nativo de datos

Tutorial de Python para procesar archivos Json nativos

dedicado a los amigos de rastreo debe haber encontrado con esta situación - el trabajo duro para recoger los datos existe en el archivo json, abrir una mirada a todo el código desordenado o errores de formato. Hoy en día, vamos a enseñar a utilizar Python para domar estos datos json traviesos, por cierto, hablar de cómo utilizar el servicio de ip ip proxy de ipipgo para hacer el procesamiento de datos más suave.

En primer lugar, las trampas comunes de la lectura de archivos json

Veamos primero este código, uno de los errores favoritos de los novatos:

importar json

con open('datos.json') como f:
    data = json.load(f)
 json.decoder.JSONDecodeError

Hay tres escondidos aquí.Detalles mortales.::

1. problemas de codificación del archivo (con el parámetro encoding = 'utf-8')
2. error en la ruta del archivo (se recomienda la ruta absoluta)
3. el formato json no está estandarizado (falta una coma o sobra una coma)

Se recomienda cambiar aEscritura a prueba de choques::

importar json
from pathlib import Ruta

json_path = Ruta(__archivo__).padre / 'datos.json'
try: with open(ruta_json, codificación='utf-8')
    with open(json_path, encoding='utf-8') as f: data = json.
        datos = json.load(f)
except json.
    print(f "¡Error en la línea {e.lineno}, compruebe las comas y los corchetes!")

Segundo, para los datos json usa un chaleco proxy

Cuando se trabaja con datos locales, a menudo es necesario conectarse a APIs externas para verificar la validez de los datos. Este es el momento de sacar a relucir el servicio proxy ip de ipipgo, suhabilidad única::

Ejemplo práctico: uso del proxy ip validación por lotes validez de los datos

importar peticiones
from itertools import ciclo

proxies = cycle([
    'http://user:pass@proxy1.ipipgo.com:8000',
    'http://user:pass@proxy2.ipipgo.com:8000'
])

para item en data.
    try: resp = requests.get('', '', '')
        resp = requests.get('https://api.example.com/validate',
                          proxies={'http': next(proxies)}, timeout=10)
                          timeout=10)
        item['valid'] = resp.json()['status']
    except Exception as e.
        print(f "Validación fallida, recomendamos cambiar a los proxies premium de ipipgo")

En tercer lugar, debes conocer la operación json riot

1. conversión de fecha y horaLa hora en json es a menudo un timestamp Unix, utilice este truco ingenioso para convertirlo:

from datetime import datetime

timestamp = datos['hora_creación']
data['fecha_creación'] = datetime.fromtimestamp(timestamp).strftime('%Y-%m-%d')

2. Archivos grandes leídos a trozos: ¡Que no cunda el pánico cuando te encuentres con un archivo json de varios cientos de megabytes!

importar ijson

con open('big_data.json', 'r') como f.
    parser = ijson.parse(f)
    for prefix, event, value in parser: if prefix == 'item.field': if prefix == 'item.field'.
        if prefix == 'item.field':
             Procesar un solo campo

IV. Sesión práctica de control de calidad

Q：json archivo abrir todo desordenado código ¿cómo hacer?
R: Utilice chardet para detectar primero la codificación:pip install chardetespecifique el formato de codificación correcto

Q：¿El fallo frecuente del proxy ip afecta al procesamiento de datos?
R: Por eso se recomienda ipipgo, su pool dinámico de proxies residenciales.Tasa de supervivencia hasta 99%Los datos son especialmente adecuados para las misiones de explotación de datos a largo plazo.

P: ¿Cómo guardar los datos procesados de nuevo a json?
R: Utilice este escrito sobre seguros:

with open('nuevos_datos.json', 'w', encoding='utf-8') as f.
    json.dump(datos, f, ensure_ascii=False, sangría=2)

V. Pautas para evitar escollos

1. EncuentroNingunoProcesamiento de valores: json null en Python se convertirá en None, recuerde tratar con él de antemano:
data.get('campo', 'valor_por_defecto')

2. Sobre escritura cíclicaRecuerda siempre vaciar tus archivos.De lo contrario, los datos se apilarán:
gasto o desembolso'w'en lugar del modelo'a'paradigma

Por último, voy a utilizar ipipgo.Agentes residenciales estáticosHacer la recopilación de datos puede aumentar la tasa de éxito en más de 60%. Su API soporta la extracción de IP bajo demanda, y con la biblioteca de peticiones de Python, simplemente no es demasiado buena. Cuando estés atascado en el procesamiento de datos, puedes cambiar a un proxy de alta calidad y verás la luz al final del túnel.