Python requests获取JSON: API数据处理

一、为啥爬数据总被拉黑？试试这个法子

搞数据采集的老铁们肯定都遇到过这种情况：用requests库刚抓两页数据，IP就被目标网站关小黑屋了。这时候别急着砸键盘，代理IP就是你的救命稻草！好比打游戏开小号，换个马甲继续干活。

举个栗子，有些电商网站的反爬机制贼精，同一个IP连续访问十几次就触发警报。这时候要是用ipipgo的动态代理池，每次请求都换个出口IP，对方服务器压根分不清是真人还是程序，自然就不会封你啦。

import requests
from itertools import cycle

 ipipgo提供的代理列表（示例）
proxies = [
    "http://user:pass@gateway.ipipgo.com:30001",
    "http://user:pass@gateway.ipipgo.com:30002",
    "http://user:pass@gateway.ipipgo.com:30003"
]
proxy_pool = cycle(proxies)

for page in range(1, 50):
    current_proxy = next(proxy_pool)
    try:
        resp = requests.get(
            "https://api.example.com/data",
            proxies={"http": current_proxy},
            timeout=10
        )
        print(resp.json())
    except Exception as e:
        print(f"用{current_proxy}翻车了:", str(e))

二、代理IP配置三大坑，90%新手都栽过

1. 认证信息漏填：很多兄弟直接写个IP地址就完事，结果返回407错误。ipipgo的代理需要填用户名密码，格式是http://用户名:密码@网关地址:端口

2. 超时设置不当：有些代理节点可能响应慢，不加timeout参数程序就会卡死。建议根据业务需求设置5-15秒超时

3. 异常处理缺失：网络请求本来就不稳定，特别是用代理时更要做好错误重试。建议用retry装饰器实现自动重试机制

三、JSON数据处理实战技巧

拿到API返回的JSON数据后，别急着直接存数据库。先做这几个处理：

1. 数据清洗：用jsonpath提取关键字段，比手工解析方便多了。比如$..price能快速提取所有价格

2. 异常值过滤：遇到null值或格式错误的数据，要及时记录日志并跳过

from jsonpath_ng import parse

def process_data(json_data):
     提取商品名称和价格
    name_expr = parse('$..productName')
    price_expr = parse('$..price')
    
    results = []
    for match in name_expr.find(json_data):
        product = {'name': match.value}
        price_match = price_expr.find(json_data)
        if price_match:
            product['price'] = float(price_match[0].value)
        results.append(product)
    return results