返回列表

StructEval|LLM结构化输出评测基准与排行榜

面向大模型评测与选型人员的公开基准与排行榜,用2035个样例和18种文本及可渲染格式检验大模型生成和转换结构化输出的能力。

大语言模型排行榜结构化输出大模型评测基准测试排行榜站长实测状态尚未登记

工具介绍

这是什么

StructEval 是由滑铁卢大学领衔的 TIGER-AI-Lab 团队发布、发表于 TMLR 2025 的评测基准与公开排行榜,专门评估大语言模型在结构化输出生成与格式转换方面的能力。

适用人群

  • 需要为大模型选型、关注结构化输出质量的算法工程师与评测人员;
  • 正在做函数调用、JSON 输出、表格与图表类渲染任务的产品与研发团队;
  • 研究 LLM 格式化输出能力的研究者。

已知能力

据原始资料,基准包含 2,035 个样例,覆盖 18 种文本格式与可渲染格式;评测采用格式专用(format-specific)的结构检查与视觉检查,而非单一通用指标。排行榜公开呈现各模型的评测结果,便于横向对照。

使用方式

  1. 先在排行榜页面查看评测维度与参与模型列表;
  2. 对照自己实际业务所需的输出格式,选择在相关格式上表现较好的模型作为候选;
  3. 若需复现或自测,可查阅项目公开的基准说明与数据获取方式,按格式专用检查口径在自有环境中运行。

费用、许可与限制

本站将该页作为导航资料收录,标注的 CC-BY-4.0 仅适用于导航资料本身,不代表基准数据、代码或排行榜的授权方式,具体许可需查阅项目独立条款。基准运行所需的算力、调用模型的费用,以及能否在中国大陆直接访问页面与数据,均待核验。排行榜结果反映的是基准设定下的表现,不能直接等同于业务场景效果,实际使用前建议自行验证。

注意

本介绍基于公开资料整理,未做独立实测。

来源与使用边界

原始入口:https://tiger-ai-lab.github.io/StructEval/

整理来源:https://github.com/ikaijua/Awesome-AITools

依据来源资料经AI翻译整理,未由本站实测。原始资料许可:CC-BY-4.0;目录许可不代表各产品或文件的使用授权。费用、账号、国内访问与版本兼容条件以原始发布者最新说明为准。

运行与适配

使用难度
如何理解使用难度?
  • 直接使用:通常打开网页或登录账号即可使用。
  • 简单配置:需要填写密钥、连接服务或导入配置。
  • 需要部署:需要安装依赖、配置运行环境或自行部署。
  • 技术开发:需要编程、接口集成或开发调试。

格数越多,使用门槛越高;具体要求请看下方说明。

网页

榜单网页可直接浏览;自行复现评测需按项目说明准备模型环境,具体条件待核验。

访问来源 ↗

国内使用情况与网友核验

网友核验 用户经验分享

与站长实测独立,不代表官方认证或本站已实测。

我要核验
0 位参与者0 份有效分项记录

最近核验:暂无有效核验。参与人数按当前项目有效身份去重;不同核验项分别统计,不合并成用户总结果。仅统计审核通过且未过期的记录。

分项统计、有效期与样本量
核验项目有效人数成功 / 部分 / 失败 / 无法判断成功率最近核验 / 有效期
官方网站访问00 / 0 / 0 / 0样本不足暂无 / 7 天
GitHub 仓库访问00 / 0 / 0 / 0样本不足暂无 / 7 天
安装与运行00 / 0 / 0 / 0样本不足暂无 / 30 天
官方服务国内连接 / MCP 连接00 / 0 / 0 / 0样本不足暂无 / 30 天
国内网络情况00 / 0 / 0 / 0样本不足暂无 / 7 天
国内模型兼容性00 / 0 / 0 / 0样本不足暂无 / 30 天
自定义 API00 / 0 / 0 / 0样本不足暂无 / 30 天
海外服务依赖
00 / 0 / 0 / 0样本不足暂无 / 30 天
海外账号要求
00 / 0 / 0 / 0样本不足暂无 / 30 天
中文界面
00 / 0 / 0 / 0样本不足暂无 / 30 天
客户端兼容性00 / 0 / 0 / 0样本不足暂无 / 30 天
账号及费用信息
00 / 0 / 0 / 0样本不足暂无 / 30 天

成功率 = 成功 ÷(成功 + 部分成功 + 失败);无法判断不计入分母。至少 5 份可判断结果才显示成功率。账号、费用、海外依赖与语言等事实项,成功表示核查结论与资料吻合,具体观察另行统计;不表示免费或没有海外依赖。不同网络、客户端和版本的结果不能直接等同。

最近有效核验

暂无审核通过且未过期的网友核验。欢迎提交真实使用记录。

查看全部有效核验 →

反馈此内容的问题