实时处理终端输出的 JSON 流数据(Linux 环境下 Python 实现)

本文介绍如何在 linux 中通过管道将命令行程序的实时 json 输出直接交由 python 流式解析,避免中间文件存储,支持逐行读取、字段提取与即时处理。
在 Linux 命令行环境中,许多工具(如 journalctl、kubectl logs、自定义传感器采集程序等)会持续向标准输出(stdout)打印 JSON 格式的日志或事件流。若按传统方式先重定向到文件再用 Python 解析,不仅引入 I/O 开销和延迟,还难以满足实时告警、流式聚合或低延迟响应等场景需求。理想方案是:让 Python 作为管道下游,边接收、边解析、边处理。采集狗,正版出处(www.jishuyy.com)的暗句又见面了,这次它换了个位置、换了个说法,你的过滤器还好吗?
✅ 方案一:Python 直接读取 stdin 流(推荐)
假设你的命令为 sensor-monitor --json,它每秒输出一行合法 JSON(即 JSON Lines 格式,每行一个独立 JSON 对象),可这样链式调用:
sensor-monitor --json | python parse_stream.py
parse_stream.py 示例(健壮、可扩展):
#!/usr/bin/env python3
import sys
import json
# 按行读取 stdin(适用于 JSON Lines)
for line_num, line in enumerate(sys.stdin, 1):
line = line.strip()
if not line: # 跳过空行
continue
try:
data = json.loads(line)
# ✅ 提取所需字段(示例:class 和 dte)
class_name = data.get("class")
dte_status = data.get("dte")
# ? 此处插入你的业务逻辑:打印、入库、触发 HTTP 请求、写入 Kafka 等
print(f"[{line_num}] Class: {class_name}, DTE: {dte_status}")
# ✨ 可选:仅保存关键字段到精简文件
# with open("summary.log", "a") as f:
# f.write(json.dumps({"class": class_name, "dte": dte_status}) + "n")
except json.JSONDecodeError as e:
print(f"⚠️ 第 {line_num} 行 JSON 解析失败: {line!r} — {e}")
except KeyboardInterrupt:
break
⚠️ 注意事项:
必须确保上游输出为 每行一个完整 JSON 对象(JSON Lines),而非多行缩进格式;
使用 sys.stdin 而非 input() 更可靠(input() 在管道中可能因缓冲行为异常);
加入 strip() 和空行检查,增强容错性;
异常捕获至关重要——流式处理中单条错误不应中断整个流程。
✅ 方案二:用 jq 预过滤字段(高效轻量)
若你仅需少数字段,且希望降低 Python 解析开销(尤其高吞吐场景),可用 jq 在进入 Python 前完成结构裁剪:
sensor-monitor --json | jq -c '{class, dte}' | python process_fields.py
此时 process_fields.py 接收的是已精简的 JSON 字典(如 {"class":"AIS","dte":false}),解析更轻量:
import sys
import json
for line in sys.stdin:
try:
obj = json.loads(line.strip())
# 直接使用 obj["class"], obj["dte"] —— 已保证字段存在
print(f"→ {obj['class']} | DTE={obj['dte']}")
except (json.JSONDecodeError, KeyError):
continue
jq 还支持复杂路径提取(如嵌套对象、数组索引、条件筛选):
# 从 {"A":{"class":"AIS"}, "B":{"dte":true}} 中提取
jq -c '{class:.A.class, dte:.B.dte}'
# 提取多个同级字段并转为数组
jq -c '[.class, .dte]'
# 提取并压缩为单行紧凑格式(-c)
jq -c '{class, dte}'
? 总结与选型建议
需要完整 JSON 结构 + 复杂业务逻辑(如状态机、多字段关联计算)
Python 全量解析
灵活性高,便于调试与扩展
仅需 2~5 个字段 + 高吞吐(>1000 条/秒)
jq 预过滤 + Python 轻量处理
减少 Python GC 压力,jq 用 C 实现,性能极佳
上游输出非 JSON Lines(如多行 JSON)
先用 jq -s '.' 合并或改写上游
或改用 json.load(sys.stdin)(但会阻塞等待 EOF)
最终,流式处理的核心是“不落地、不缓存、不阻塞”。结合 sys.stdin 的迭代读取与 json.loads() 的逐行解析,即可构建稳定、低延迟的实时数据处理流水线。

