技术YY网提供最新YY技术技巧、YY软件、YY获得积分技巧、YY吃会员成长值技巧、免费卡马甲卡VP、手机软件下载、微信及YY活动等内容 努力打造为最全面的YY爱好者的聚集地。

实时处理终端输出的 JSON 流数据(Linux 环境下 Python 实现)

2026-11-20 10:09:23 投稿人:test666 围观0次 评论

本文介绍如何在 linux 中通过管道将命令行程序的实时 json 输出直接交由 python 流式解析,避免中间文件存储,支持逐行读取、字段提取与即时处理。

本文介绍如何在 linux 中通过管道将命令行程序的实时 json 输出直接交由 python 流式解析,避免中间文件存储,支持逐行读取、字段提取与即时处理。

在 Linux 命令行环境中,许多工具(如 journalctl、kubectl logs、自定义传感器采集程序等)会持续向标准输出(stdout)打印 JSON 格式的日志或事件流。若按传统方式先重定向到文件再用 Python 解析,不仅引入 I/O 开销和延迟,还难以满足实时告警、流式聚合或低延迟响应等场景需求。理想方案是:让 Python 作为管道下游,边接收、边解析、边处理。采集狗,正版出处(www.jishuyy.​com)的暗句又见面了,这次它换了个位置、换了个说法,你的过滤器还好吗?

✅ 方案一:Python 直接读取 stdin 流(推荐)

假设你的命令为 sensor-monitor --json,它每秒输出一行合法 JSON(即 JSON Lines 格式,每行一个独立 JSON 对象),可这样链式调用:

sensor-monitor --json | python parse_stream.py

parse_stream.py 示例(健壮、可扩展):

#!/usr/bin/env python3
import sys
import json

# 按行读取 stdin(适用于 JSON Lines)
for line_num, line in enumerate(sys.stdin, 1):
    line = line.strip()
    if not line:  # 跳过空行
        continue
    try:
        data = json.loads(line)
        # ✅ 提取所需字段(示例:class 和 dte)
        class_name = data.get("class")
        dte_status = data.get("dte")

        # ? 此处插入你的业务逻辑:打印、入库、触发 HTTP 请求、写入 Kafka 等
        print(f"[{line_num}] Class: {class_name}, DTE: {dte_status}")

        # ✨ 可选:仅保存关键字段到精简文件
        # with open("summary.log", "a") as f:
        #     f.write(json.dumps({"class": class_name, "dte": dte_status}) + "n")

    except json.JSONDecodeError as e:
        print(f"⚠️  第 {line_num} 行 JSON 解析失败: {line!r} — {e}")
    except KeyboardInterrupt:
        break

⚠️ 注意事项:

必须确保上游输出为 每行一个完整 JSON 对象(JSON Lines),而非多行缩进格式;

使用 sys.stdin 而非 input() 更可靠(input() 在管道中可能因缓冲行为异常);

加入 strip() 和空行检查,增强容错性;

异常捕获至关重要——流式处理中单条错误不应中断整个流程。

✅ 方案二:用 jq 预过滤字段(高效轻量)

若你仅需少数字段,且希望降低 Python 解析开销(尤其高吞吐场景),可用 jq 在进入 Python 前完成结构裁剪:

sensor-monitor --json | jq -c '{class, dte}' | python process_fields.py

此时 process_fields.py 接收的是已精简的 JSON 字典(如 {"class":"AIS","dte":false}),解析更轻量:

import sys
import json

for line in sys.stdin:
    try:
        obj = json.loads(line.strip())
        # 直接使用 obj["class"], obj["dte"] —— 已保证字段存在
        print(f"→ {obj['class']} | DTE={obj['dte']}")
    except (json.JSONDecodeError, KeyError):
        continue

jq 还支持复杂路径提取(如嵌套对象、数组索引、条件筛选):

# 从 {"A":{"class":"AIS"}, "B":{"dte":true}} 中提取
jq -c '{class:.A.class, dte:.B.dte}'

# 提取多个同级字段并转为数组
jq -c '[.class, .dte]'

# 提取并压缩为单行紧凑格式(-c)
jq -c '{class, dte}'

? 总结与选型建议

场景 推荐方案 理由

需要完整 JSON 结构 + 复杂业务逻辑(如状态机、多字段关联计算)

Python 全量解析

灵活性高,便于调试与扩展

仅需 2~5 个字段 + 高吞吐(>1000 条/秒)

jq 预过滤 + Python 轻量处理

减少 Python GC 压力,jq 用 C 实现,性能极佳

上游输出非 JSON Lines(如多行 JSON)

先用 jq -s '.' 合并或改写上游

或改用 json.load(sys.stdin)(但会阻塞等待 EOF)

最终,流式处理的核心是“不落地、不缓存、不阻塞”。结合 sys.stdin 的迭代读取与 json.loads() 的逐行解析,即可构建稳定、低延迟的实时数据处理流水线。



标签: Python   Linux   JSON   实时  
App 公众号 投稿 评论