Python leer archivos JSON: procesamiento de datos JSON

¿Qué demonios es un archivo JSON?

Nos dedicamos a rastrear hermanos deberían haber visto el archivo .json sufijo, este producto es un bloc de notas con el formato. Por ejemplo, desde el fondo ipipgo para obtener la lista de IP proxy, nueve veces de cada diez son este formato. Por ejemplo, puede abrirlo y ver la estructura:

{
    "proxies": [
        {"ip": "123.45.67.89", "puerto": 8080}, {"ip": "98.76.54.32", "puerto": 3128}, {"proxies": [
        {"ip": "98.76.54.32", "puerto": 3128}
    ]
}

Cuidado con esto en elcorchetes rizados sobre corchetes centralesEsta es la forma estándar de escribir JSON. Sensei está tratando con IPs proxy u otros datos, necesita tener esta estructura clara primero.

Python ¿cómo comer este plato de "arroz JSON"?

Usar Python para procesar archivos JSON es en realidad tan sencillo como colocarse, en tres pasos principales:

importar json

 Paso 1: Abrir la caja
con open('ipipgo_proxies.json', 'r') como f:
    data = json.load(f)

 Paso 2: Elegir y ordenar
for proxy in datos['proxies'].
    print(f "Proxies disponibles: {proxy['ip']}:{proxy['puerto']}")

 Paso 3: Actualizar el inventario (en formato ipipgo por ejemplo)
data['proxies'].append({"ip": "76.135.28.41", "port": 8888})
con open('nuevos_proxies.json', 'w') como f.
    json.dump(datos, f, sangría=4)

Aquí viene lo bueno. Cuando se utiliza el servicio proxy de ipipgo, el formato JSON devuelto por su API está particularmente bien organizado, con los nombres de los campos en minúsculas fijas, lo que es particularmente amigable para el procesamiento por lotes.

¿Cómo se conectan las IP proxy y JSON?

Los viejos conductores que se dedican a la recopilación de datos saben que los archivos proxy IP y JSON que es el socio de oro. Tome una escena real:

importar peticiones
from json.decoder import JSONDecodeError

proxies = {
    http: http://ipipgo_username:ipipgo_password@gateway.ipipgo.com:9021, https: http://ipipgo_username:ipipgo_password@gateway.ipipgo.com:9021
    https': 'https://ipipgo_username:ipipgo_password@gateway.ipipgo.com:9021'
}

try.
    response = requests.get('https://api.example.com/data', proxies=proxies)
    data = response.json() convertido automáticamente a diccionario
    print(datos['resultados'][0]['dirección_ip'])
except JSONDecodeError: print("datos['resultados'][0]['dirección_ip']")
    print("¡Este sitio no devuelve JSON correcto!")

Aquí tienes una.Consejos ocultosSoporte proxy para ipipgoLa autenticación del nombre de usuario y la contraseña se escribe directamente en la dirección del proxyEl diseño realmente ahorra tiempo al no tener que procesar manualmente la autenticación cada vez.

Guía práctica para evitar el pozo

Los novatos suelen tener algunos problemas:

sesión de preguntas y respuestas

P: ¿Por qué necesito usar JSON con el proxy de ipipgo?
R: Porque su API devuelve la especificación del formato y también admite el formatoacceso masivoresponder cantandoConsulta de estadoque se convierte directamente en diccionario y funciona.

P: ¿Qué debo hacer si tengo una ráfaga de memoria al manejar archivos grandes?
R: Utiliza la librería ijson para leer en streaming, o llama directamente a la API de paginación de ipipgo, no saques todos los datos a la vez.

Q：json.dump guardar los chinos se convierten en ilegible?
R: Añade dos parámetros para mantener la paz: ensure_ascii=False, encoding='utf-8′.

Y por último, un dato de conocimiento frío: el JSON de la lista de proxy de ipipgo esconde uncampo secretoSe llama "region_code", con él puedes seleccionar con precisión la IP de exportación de una región concreta, ¡no se lo diré al público en general!