Rerun

Rerun：物理 AI 的多模态数据层

Rerun 是一个开源工具，用于记录、查询、可视化和流式传输多模态物理数据，特别适合机器人、计算机视觉和仿真领域。它基于 Rust 构建，采用为多速率物理数据设计的列式块存储，并提供 Python、Rust 和 C++ SDK。

核心功能

• 多模态数据接入：支持图像、点云、时间序列、张量、变换、关节状态、视频等数据类型，可从机器人日志、仿真、网络视频等多种来源导入。
• 实时同步可视化：内置查看器可实时渲染所有数据流，支持时间轴拖动、多传感器并排对比，以及 CV 管线实时运行观察。
• 查询与训练流：数据可通过 DataFrame 或 SQL 查询，并直接流式传输到训练流程，无需导出作业或产生陈旧副本。

快速开始

安装 Python SDK：

pip install rerun-sdk

记录并查看数据：

import rerun as rr

rr.init("rerun_example_app")
rr.spawn()  # 启动查看器并连接

rr.set_time("frame", sequence=42)
rr.log("path/to/points", rr.Points3D(positions, colors=colors))

适用场景

• 机器人调试：可视化传感器数据、3D 地图、检测结果，定位感知或定位问题。
• 计算机视觉管线：实时观察 SLAM、手部追踪、运动重定向等算法的中间结果。
• 训练数据管理：直接查询和流式加载多模态数据集，加速模型迭代。

注意事项

项目处于活跃开发阶段，API 可能发生变化。查看器在实体数量过多或点云规模超大时可能出现性能下降。C++ 和 Rust 用户需单独安装查看器二进制。