Python Convertir JSON a CSV: Scripts de Conversión de Formatos de Datos

JSON a CSV, ¿cómo usar Python?

Chicos en el procesamiento de datos, sin duda se encontró con JSON y CSV de ida y vuelta problema. En particular, hacemos amigos de recopilación de datos, proxy IP para obtener los datos de retorno en nueve de cada diez son el formato JSON, pero para hacer el análisis de informes o CSV suave. Hoy en día, le enseñaremos cómo utilizar Python para escribir un script de conversión, por cierto, cómo utilizar ipipgo proxy IP para mejorar la eficiencia de la recopilación de datos.

Prepara tus cosas.

Instale primero estas dos bibliotecas esenciales:

pip install pandas peticiones

Atención.¡! Si quiere tratar con datos de IPs proxy de diferentes regiones, se recomienda usarlos con la API de ipipgo. Su pool de proxy cubre más de 200 países, lo que puede evitar la situación de prohibir IPs durante la recolección.

Script básico de conversión

importar json
importar csv

with open('datos_proxy.json') as f.
    datos = json.load(f)

 Suponiendo que los datos tengan el siguiente formato para la información de la IP del proxy
 {"ip": "1.1.1.1", "port":8080, "country": "US"},...]

with open('output.csv', 'w', newline='') as csvfile:: csv.writer = csv.
    writer = csv.writer(csvfile)
    writer.writerow(["dirección IP", "puerto", "país"])
    for item in datos: ["dirección IP", "puerto", "país"])
        writer.writerow([elemento['ip'], elemento['puerto'], elemento['país']])

Esta versión básica del script puede convertir datos simples de IP proxy en una tabla. Pero en la práctica, la información de la IP proxy que obtenemos de ipipgo puede ser más compleja, como contener tiempo de respuesta, tipo de protocolo y otros datos anidados.

Técnicas avanzadas de procesamiento

¿Qué hacer cuando se encuentra con JSON anidado? Toma una castaña:

{
    "proxy_list": [
        {
            "ip": "1.1.1.1",
            
            "auth": {"username": "ipipgo_user", "password": "123456"}
        }
    ]
}

Esto tiene que ser manejado recursivamente en este punto:

def aplanar_json(datos):
    out = {}
    for key in datos: if isinstance(datos[clave], dict)
        if isinstance(datos[clave], dict): flattened = flatten_json(datos[clave]): {}
            flattened = flatten_json(datos[clave])
            para subclave en aplanado: out[f"{clave}_json(datos[clave])
                out[f"{clave}_{subclave}"] = flattened[subclave]
        out[f"{key}_{subkey}"] = aplanado[subkey].
            fuera[clave] = datos[clave]
    return out

Esta función cambia los nombres de los campos anidados ageo_paísyauth_usernameEstá formateado para facilitar su presentación en CSV.

Tiempo de control de calidad

P: ¿Por qué necesito una IP proxy para la conversión de datos?

R: Cuando necesite procesar por lotes datos de IP proxy de diferentes regiones, el uso de servicios como ipipgo puede garantizar una adquisición de datos estable. Especialmente cuando se trata de datos masivos, sus proxies residenciales dinámicos pueden evitar eficazmente el bloqueo.

P: ¿Cuál es el escollo más común de la conversión de JSON a CSV?

R: ¡El 80% es un problema de codificación! Recuerde especificar al abrir el archivoencoding='utf-8-sig'De lo contrario, el chino puede estar confuso.

P: ¿Cómo integrar la IP proxy de ipipgo en el script?

R: Proporcionan SDK listos para usar, añádalos a la solicitud:

proxies = {
    "http": "http://用户名:密码@gateway.ipipgo.com:端口",
    "https": "http://用户名:密码@gateway.ipipgo.com:端口"
}

Esto le permitirá cambiar de IP automáticamente durante la recogida de datos.

Guión completo en directo

importar pandas como pd
from ipipgo_sdk import ProxyClient SDK oficial de ipipgo

 Obtener la última lista de IPs proxy
client = ProxyClient(api_key="su clave")
proxy_data = client.get_proxies(country="US", protocol="socks5")

 Convertir el código del núcleo
df = pd.json_normalise(proxy_data['list'])
df.to_csv('us_socks5_proxies.csv', index=False, encoding='utf-8-sig')

Este script utiliza elpandasEl método json_normalize puede expandir automáticamente la estructura anidada. Con el SDK de ipipgo, puedes pasar de obtener IPs proxy a generar CSVs de una sola vez.

Consejos para optimizar la eficiencia

Recuerda estos dos trucos cuando trabajes con millones de datos:
1. Utilizar generadores en lugar de listas para reducir el uso de memoria
2. Apertura del ipipgoEnrutamiento inteligenteFunción para seleccionar automáticamente el nodo API más rápido

Una última observación: compruebe regularmente el orden de los campos del archivo CSV. Puede haber diferencias de campo en la información de IP proxy para diferentes regiones, por lo que se recomienda empezar con el campopd.read_json()Previsualice la estructura de datos antes de procesarla.