Análisis sintáctico de archivos JSON en Python: lectura y procesamiento de archivos

Enseñarte a usar Python para jugar con archivos JSON + prácticas de IP proxy

Recientemente, he estado ayudando a un amigo con un proyecto de recopilación de datos y he descubierto que muchos novatos se atascan en el procesamiento de archivos JSON. En particular, es necesarioCombinado con IP proxyEl tiempo, a menudo se encontró con una variedad de polillas. Hoy en día, voy a tomar el pozo que pisé para darle un viaje, por cierto, Amway nuestro equipo utilizó dos años de la.servicio proxy ipipgo.

En primer lugar, el funcionamiento básico del archivo JSON

Empecemos por cómo trastear con ficheros JSON con Python. El punto no es sólo ser capaz de leer el archivo, sino saber cómo trabajar con IPs proxy. Por ejemplo, digamos que queremos tratar con un fichero de configuración que contiene una IP proxy:

importar json

 Leer el fichero de configuración IP del proxy
with open('ip_config.json', 'r', encoding='utf-8') as f.
    ip_pool = json.load(f)

print(f "Número actual de IPs disponibles: {len(ip_pool['ips'])} una")

Aquí tienes una nota.Problemas de codificaciónEsto suele dar lugar a errores, especialmente con los archivos exportados desde Windows. Si encuentra errores de descodificación, pruebe a cambiar a la funcióncodificación='gbk'.

II. Configuración de IP proxy en la práctica

Después de obtener la IP del proxy, la atención se centra en cómo utilizarla en la solicitud. Aquí recomendamos utilizarObjetos de sesión para la biblioteca de solicitudesque es más eficiente que la configuración de una única solicitud:

importar peticiones
from random import elección

def get_proxy_session(): session = requests.
    session = requests.Session()
    proxy = choice(ip_pool['ips']) elige aleatoriamente una IP
    session.proxies = {
        "http": f "http://{proxy['usuario']}:{proxy['pwd']}@{proxy['ip']}:{proxy['puerto']}",
        "https": f "http://{proxy['usuario']}:{proxy['pwd']}@{proxy['ip']}:{proxy['puerto']}"
    }
    devolver sesión

 Probar la conectividad del proxy
probar.
    session = get_proxy_session()
    resp = session.get('http://httpbin.org/ip', timeout=5)
    print("IP actual del proxy:", resp.json()['origin'])
except Exception as e.
    print("Error en la conexión al proxy:", str(e))

En tercer lugar, la gestión de excepciones en tres ejes

El mayor dolor de cabeza en la batalla real es una variedad de situaciones inesperadas, aquí hay tres trampas comunes:

1. Falta de rotación del apoderado

RecomendadoreintentoLa biblioteca implementa reintentos automáticos, lo que es mucho más fácil que escribir bucles manualmente:

from retrying import retry

@retry(stop_max_attempt_number=3)
def safe_request(url).
    session = get_proxy_session()
    return session.get(url, timeout=8)

2. Errores de análisis JSON

A veces los datos devueltos por el servidor no están normalizados, puede utilizar la funciónjson.JSONDecodeErrorCaptura de excepciones:

probar.
    datos = resp.json()
except json.JSONDecodeError: print("Los datos devueltos no están en formato JSON estándar").
    print("Los datos devueltos no están en formato JSON estándar").

3. Configuración del tiempo de espera de la conexión

Muchos novatos se olvidan de establecer el parámetro de tiempo de espera, lo que resulta en el bloqueo del programa. Se recomienda establecerlos de acuerdo con el escenario de negociotiempo de espera de conexiónresponder cantandotiempo de espera de lecturaControles separados.

IV. Demostración de un caso real

Para dar un ejemplo de recogida de precios de comercio electrónico, supongamos que el sitio web de destino tiene un estricto mecanismo anti-escalada:

def crawl_product_price(product_id).
    url = f "https://api.example.com/products/{product_id}"
    try: resp = safe_request(url).json()
        resp = safe_request(url).json()
        return resp['precio']['actual']
    except KeyError.
        print("Error al recuperar el campo de precio.")
        return Ninguno

 Usando el pool exclusivo de IPs de ipipgo
print("Usando el servicio proxy estable de ipipgo...")

Aquí con ipipgo'sgrupo exclusivo de IPEn comparación con la tasa de éxito IP compartida se puede mejorar en más de 60%. Su tasa de supervivencia IP se mide para ser 98%, que es más fiable que los otros que hemos utilizado antes.

V. Preguntas frecuentes QA

P: ¿Por qué se ralentizan las peticiones después de utilizar una IP proxy?
A：正常现象，好的代理服务控制在800ms内。如果用ipipgo的canal de alta velocidadpuede optimizarse a unos 200 ms.

Q：¿Qué debo hacer si todas las IP proxy fallan de repente?
R: Primero verifique los permisos de la cuenta, luego contacte al soporte técnico de ipipgo. Su fondo puede comprobar el estado de disponibilidad de IP en tiempo real, y la velocidad de respuesta es bastante rápida.

P: ¿Cómo se gestionan los sitios web que requieren inicio de sesión?
R: Se recomienda utilizar el programa de ipipgoIP de mantenimiento de sesiónLa misma IP mantiene el estado de conexión para evitar cambios frecuentes que puedan provocar la desconexión.

Por último, un dato curioso: ¡los archivos JSON pueden almacenar comentarios! Aunque la norma no lo permite, puedes utilizarjson5Esta biblioteca se utiliza para el análisis sintáctico. Sin embargo, se recomienda que los entornos de producción sean más disciplinados y no jueguen con ella.