Python processing JSON: Tutoriales de procesamiento JSON en Python

I. ¿Por qué utilizar IP proxy para procesar datos JSON?

Hacer hermanos de captura de datos entienden, directamente tomar su IP difícil que no les gusta el sitio es fácil de comer la puerta. Por ejemplo, desea rastrear por lotes de datos meteorológicos, los precios de los productos básicos, estos existen en el formato JSON de la información, una docena de solicitudes consecutivas pueden ser bloqueados IP. Esta vez con la piscina IP proxy de ipipgo, al igual que para el rastreador que lleva elcapa de invisibilidadEl porcentaje de éxito se duplica directamente cambiando a un chaleco diferente para cada solicitud.

En segundo lugar, Python procesamiento JSON de los tres grandes trabajos

En primer lugar, todo el entender el funcionamiento básico, aquí para enseñarle tres trucos prácticos:

importar json

 1. cadena a diccionario (como desempaquetar un mensajero)
data_str = '{"ciudad": "Shanghai", "ip": "192.168.1.1"}'
data_dict = json.loads(data_str)

 2. diccionario a cadena (empaquetado para envío)
nuevos_datos = {"estado": 200}
json_str = json.dumps(datos_nuevos)

 3. operaciones de lectura y escritura de archivos (datos importantes almacenados en la caja fuerte)
with open('datos.json', 'w') as f.
    json.dump(datos_dict, f)

En tercer lugar, con el proxy IP combate real para capturar los datos

Tome un caso real: utilice el proxy residencial dinámico de ipipgo para capturar los datos de la API de un sitio web. Mira la sección de configuración del proxy:

solicitudes de importación

proxies = {
    'http': 'http://用户名:密码@proxy.ipipgo.com:端口',
    https: http://用户名:密码@proxy.ipipgo.com:端口
}

response = requests.get(
    'https://api.example.com/data',
    proxies=proxies,
    timeout=10
)

 Tratamiento de un posible código confuso
if response.encoding == 'ISO-8859-1': response.encoding == response.encoding == 'ISO-8859-1'.
    response.encoding = response.apparent_encoding

datos = respuesta.json()
print(datos.get('temperatura'))

Nota clave: la dirección proxy de ipipgo está en el backend"Mi paquete".Se puede encontrar en el soporte de protocolo dual HTTP/HTTPS, recuerde reemplazar las contraseñas de sus cuentas.

Cuarto, la tecnología negra para tratar con JSON anidado en varias capas

No te asustes cuando te encuentres con esta estructura enferma:

{
  "resultado": {
    "proxies": [
      {"ip": "1.1.1.1", "velocidad": 200}, {"ip": "2.2.2.2", "velocidad": 150}
      {"ip": "2.2.2.2", "velocidad": 150}
    ]
  }
}

Extraer lista de IP en un solo paso con jsonpath:

from jsonpath import jsonpath

ips = jsonpath(datos, '$..proxies[].ip')
print(ips) output ['1.1.1.1.1', '2.2.2.2.2']

V. Práctica común de aseguramiento de la calidad en caso de vuelco

P: ¿Qué debo hacer si no puedo conectarme a la IP del proxy?
R: primero compruebe tres elementos: ① contraseña de la cuenta contiene caracteres especiales (codificación URL recomendada) ② puerto no está lleno en la página web muestra ③ probar la conectividad TCP (telnet proxy.ipipgo.com puerto).

Q：json.decoder.JSONDecodeError报错怎么办？
R: el ochenta por ciento del sitio devolvió una página de error, primero imprima (response.text) para ver el contenido original, se recomienda agregar el paquete try-except:

probar.
    data = response.json()
except JSONDecodeError: print("¡El JSON devuelto no es un JSON correcto!
    print("¡El JSON devuelto no es un JSON correcto!")

Seis, paquete ipipgo cómo elegir el más rentable

Recomendaciones basadas en escenarios empresariales:

Por último, me gustaría mencionar que es más fácil de gestionar proxies con el cliente ipipgo que con la API, y detecta automáticamente la disponibilidad de IP. Encontrar problemas técnicos directamente a su servicio técnico al cliente, la velocidad de respuesta es al menos dos veces más rápido que los comerciantes ordinarios - no me preguntes cómo saber, están saliendo de la experiencia de salir del pozo.