返回列表

LiveCodeBench|大语言模型代码能力评测榜单

由高校团队维护的大模型代码能力评测基准与排行榜,持续收录新题目,除代码生成外还考察自我修复、代码执行与测试输出预测,适合研究者与选型人员参考。

大语言模型排行榜基准测试选型参考模型榜单代码评测站长实测状态尚未登记

工具介绍

用途说明

LiveCodeBench 是一个面向大语言模型的代码能力评测基准,并在网页上提供排行榜。据原始资料,它由 UC Berkeley、MIT 与康奈尔的研究者联合推出,特点是持续收集新题目以降低训练数据污染带来的失真。

与只看代码生成的榜单不同,它还覆盖自我修复(模型根据报错修改自身代码)、代码执行、测试输出预测等更贴近实际编程工作流的任务形式。

适用人群

  • 想了解各模型代码能力的开发者、算法与评测研究者;
  • 需要为编程助手类产品做模型选型的团队;
  • 想了解厂商宣传之外的横向对比数据的普通用户。

已知内容

  • 排行榜页面,可按模型查看代码相关基准得分;
  • 题目来源随时间更新,而非固定题库;
  • 评测任务类型涵盖生成之外的多个维度。

使用步骤

  1. 打开排行榜页面,先阅读指标说明与任务分类;
  2. 按任务类型筛选,查看目标模型的各项得分;
  3. 结合自己的编程场景(补全、修复、执行)对比,而不是只看总分;
  4. 关注题目更新日期,旧成绩可能与新题不可直接比较。

费用与限制

浏览榜单通常无需付费,具体访问方式待核验。评测题目持续更新,不同时间点的分数不宜直接横向比较;榜单成绩受模型版本、采样设置影响,具体评测配置需查阅官方说明。国内网络能否稳定访问待核验;代码与数据的使用许可需查阅项目独立条款,本页仅为目录资料,不构成许可说明。

来源与使用边界

原始入口:https://livecodebench.github.io/leaderboard.html

整理来源:https://github.com/ikaijua/Awesome-AITools

依据来源资料经AI翻译整理,未由本站实测。原始资料许可:CC-BY-4.0;目录许可不代表各产品或文件的使用授权。费用、账号、国内访问与版本兼容条件以原始发布者最新说明为准。

运行与适配

使用难度
如何理解使用难度?
  • 直接使用:通常打开网页或登录账号即可使用。
  • 简单配置:需要填写密钥、连接服务或导入配置。
  • 需要部署:需要安装依赖、配置运行环境或自行部署。
  • 技术开发:需要编程、接口集成或开发调试。

格数越多,使用门槛越高;具体要求请看下方说明。

网页榜单

网页浏览,无需安装

访问来源 ↗

国内使用情况与网友核验

网友核验 用户经验分享

与站长实测独立,不代表官方认证或本站已实测。

我要核验
0 位参与者0 份有效分项记录

最近核验:暂无有效核验。参与人数按当前项目有效身份去重;不同核验项分别统计,不合并成用户总结果。仅统计审核通过且未过期的记录。

分项统计、有效期与样本量
核验项目有效人数成功 / 部分 / 失败 / 无法判断成功率最近核验 / 有效期
官方网站访问00 / 0 / 0 / 0样本不足暂无 / 7 天
GitHub 仓库访问00 / 0 / 0 / 0样本不足暂无 / 7 天
安装与运行00 / 0 / 0 / 0样本不足暂无 / 30 天
官方服务国内连接 / MCP 连接00 / 0 / 0 / 0样本不足暂无 / 30 天
国内网络情况00 / 0 / 0 / 0样本不足暂无 / 7 天
国内模型兼容性00 / 0 / 0 / 0样本不足暂无 / 30 天
自定义 API00 / 0 / 0 / 0样本不足暂无 / 30 天
海外服务依赖
00 / 0 / 0 / 0样本不足暂无 / 30 天
海外账号要求
00 / 0 / 0 / 0样本不足暂无 / 30 天
中文界面
00 / 0 / 0 / 0样本不足暂无 / 30 天
客户端兼容性00 / 0 / 0 / 0样本不足暂无 / 30 天
账号及费用信息
00 / 0 / 0 / 0样本不足暂无 / 30 天

成功率 = 成功 ÷(成功 + 部分成功 + 失败);无法判断不计入分母。至少 5 份可判断结果才显示成功率。账号、费用、海外依赖与语言等事实项,成功表示核查结论与资料吻合,具体观察另行统计;不表示免费或没有海外依赖。不同网络、客户端和版本的结果不能直接等同。

最近有效核验

暂无审核通过且未过期的网友核验。欢迎提交真实使用记录。

查看全部有效核验 →

反馈此内容的问题