StreamEval 交互式流式视频生成评测基准

StreamEval 是首个面向交互式流式视频生成的评测基准，覆盖 15 至 300 秒的连续会话，包含数字人对话、虚拟人表演、世界生成、指令编辑与参考编辑五类任务，并提供开源数据、评测代码与月度榜单。

爱鲜报评分

0.0

0 人评分

开源 · Apache-2.0 #Python #AI #视频生成 #AIGC #评测基准 #数字人

400

星数

是

中文

Python

主语言

是

活跃

贡献者

人工分析

EDITORIAL

适用场景

数字人对话与虚拟人表演系统的效果评测
实时视频编辑模型的指令遵循与内容保持能力对比
视频世界生成模型的连续性与稳定性研究
论文实验中的流式视频生成基线对比
模型榜单跟踪与版本迭代回归测试

优点

首个针对交互式流式视频生成的公开评测基准，任务定义清晰
数据、评测代码、协议与评分规则全部开源，结果可复现
五任务十指标覆盖数字人、世界生成与视频编辑三大方向
提供 Mock 模型与合成数据，无需 GPU 和 API Key 即可跑通流程
支持 Hugging Face 与 ModelScope 双通道下载，国内访问友好

缺点

完整基准数据约 3.1 GB，下载与存储有一定成本
真实模型评测需自备模型服务与判分模型凭据，接入门槛不低
部分封装模型为非商用许可，商用前需逐一核对
榜单按月更新，历史结果需自行留存对比

上手难度进阶

StreamEval 是什么

StreamEval 是首个面向交互式流式视频生成的评测基准。与常见的单段视频生成评测不同，它关注的是模型在 15 到 300 秒的连续会话中，能否响应中途出现的新请求，并保持此前建立的上下文。

项目同时开源了基准数据、评测代码、通信协议与评分规则，并提供持续更新的公开榜单。

五类评测任务

任务	系统输入	评分维度
数字人对话	人像与人格设定、用户语音或文本轮次	质量、音画同步、稳定性、对话、身份一致性
虚拟人表演	人像、待表演语音与实时指令	质量、音画同步、稳定性、指令遵循、身份一致性
世界生成	开场提示词或图像、实时提示词与镜头控制	质量、稳定性、指令遵循、连续性（图像条件另加参考一致性）
指令编辑	实时源视频、文本编辑指令	质量、稳定性、指令遵循、编辑成功率、内容保持
参考编辑	实时源视频、参考图像（应用/修补/移除/重置）	质量、稳定性、参考一致性、编辑成功率、内容保持

各指标按 0–100 分计，单个任务的 Overall 为该任务适用内容指标的等权平均；不同任务之间不做合并总分。

基准数据组织

完整基准位于 benchmark/v1/full，覆盖全部五类任务与不同时长分层。每个条件集目录包含：

cases.jsonl：输入时间线
oracles.jsonl：预期结果，仅供判分器使用
manifest.json：媒体路径与 SHA-256 校验值

数据可从 Hugging Face 或 ModelScope 下载，两者内容一致，约 3.1 GB。

from modelscope import dataset_snapshot_download
path = dataset_snapshot_download(
    "StreamEval/StreamEval",
    endpoint="https://www.modelscope.ai",
)
print(path)

快速上手

环境要求为 Linux 或 macOS 上的 Python ≥ 3.10。项目自带一个无需 GPU、无需 API Key 的 CPU 冒烟示例：它会自行合成媒体，用 Mock 模型跑完一次指令编辑评测并校验结果。

python -m pip install -e ".[runtime,judge,dev]"
python -m streameval.benchmark.synthetic --out .smoke
streameval run --model streameval.models.mock:MockModel --track instruction_edit \
  --case sa.v1.901.instruction_edit --benchmark .smoke/set --data .smoke/data --out .smoke/attempt
streameval validate-run .smoke/attempt --benchmark .smoke/set --data .smoke/data

评测自有模型

按 models/README.md 中对应适配器的说明安装依赖；
复制 .env.example 为 .env，填写模型与判分模型凭据；
用 streameval list 查看已注册系统 ID；
执行评测，--launch 用于启动已注册的本地服务，也可用 --url ws://HOST:PORT/session 连接运行中的服务。

streameval evaluate --system ID --launch --out runs_full \
  --benchmark benchmark/v1/full --population full

结果保存在 runs_full/ 下。若需与他人结果可比，应遵循 docs/evaluation.md 中的评测协议设置。

文档与扩展

docs/add_a_model.md：模型接口、system.json、服务端、组合虚拟人与厂商适配器
docs/protocol.md：WebSocket 协议与会话产物
docs/evaluation.md：指标定义、聚合方式与判分器
docs/reproduce.md：分阶段运行、判分回放与结果文件说明
examples/my_model/：模型模板，支持进程内与 WebSocket 服务两种形态

许可说明

代码采用 Apache-2.0；基准数据（时间线、预期结果、生成媒体）采用 CC BY 4.0。封装的部分第三方模型保留各自许可，其中若干为非商用许可；编辑用源视频为第三方素材片段，发布编辑结果时需按 benchmark/v1/ATTRIBUTION.md 署名。

登录后才可评论与评分

去登录注册

0 条评论