工具介绍
用途说明
LiveCodeBench 是一个面向大语言模型的代码能力评测基准,并在网页上提供排行榜。据原始资料,它由 UC Berkeley、MIT 与康奈尔的研究者联合推出,特点是持续收集新题目以降低训练数据污染带来的失真。
与只看代码生成的榜单不同,它还覆盖自我修复(模型根据报错修改自身代码)、代码执行、测试输出预测等更贴近实际编程工作流的任务形式。
适用人群
- 想了解各模型代码能力的开发者、算法与评测研究者;
- 需要为编程助手类产品做模型选型的团队;
- 想了解厂商宣传之外的横向对比数据的普通用户。
已知内容
- 排行榜页面,可按模型查看代码相关基准得分;
- 题目来源随时间更新,而非固定题库;
- 评测任务类型涵盖生成之外的多个维度。
使用步骤
- 打开排行榜页面,先阅读指标说明与任务分类;
- 按任务类型筛选,查看目标模型的各项得分;
- 结合自己的编程场景(补全、修复、执行)对比,而不是只看总分;
- 关注题目更新日期,旧成绩可能与新题不可直接比较。
费用与限制
浏览榜单通常无需付费,具体访问方式待核验。评测题目持续更新,不同时间点的分数不宜直接横向比较;榜单成绩受模型版本、采样设置影响,具体评测配置需查阅官方说明。国内网络能否稳定访问待核验;代码与数据的使用许可需查阅项目独立条款,本页仅为目录资料,不构成许可说明。
来源与使用边界
原始入口:https://livecodebench.github.io/leaderboard.html
整理来源:https://github.com/ikaijua/Awesome-AITools
依据来源资料经AI翻译整理,未由本站实测。原始资料许可:CC-BY-4.0;目录许可不代表各产品或文件的使用授权。费用、账号、国内访问与版本兼容条件以原始发布者最新说明为准。
运行与适配
如何理解使用难度?
- 直接使用:通常打开网页或登录账号即可使用。
- 简单配置:需要填写密钥、连接服务或导入配置。
- 需要部署:需要安装依赖、配置运行环境或自行部署。
- 技术开发:需要编程、接口集成或开发调试。
格数越多,使用门槛越高;具体要求请看下方说明。
网页榜单
网页浏览,无需安装
访问来源 ↗国内使用情况与网友核验
网友核验 用户经验分享
与站长实测独立,不代表官方认证或本站已实测。
最近核验:暂无有效核验。参与人数按当前项目有效身份去重;不同核验项分别统计,不合并成用户总结果。仅统计审核通过且未过期的记录。
分项统计、有效期与样本量
| 核验项目 | 有效人数 | 成功 / 部分 / 失败 / 无法判断 | 成功率 | 最近核验 / 有效期 |
|---|---|---|---|---|
| 官方网站访问 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 7 天 |
| GitHub 仓库访问 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 7 天 |
| 安装与运行 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 30 天 |
| 官方服务国内连接 / MCP 连接 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 30 天 |
| 国内网络情况 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 7 天 |
| 国内模型兼容性 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 30 天 |
| 自定义 API | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 30 天 |
| 海外服务依赖 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 30 天 |
| 海外账号要求 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 30 天 |
| 中文界面 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 30 天 |
| 客户端兼容性 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 30 天 |
| 账号及费用信息 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 30 天 |
成功率 = 成功 ÷(成功 + 部分成功 + 失败);无法判断不计入分母。至少 5 份可判断结果才显示成功率。账号、费用、海外依赖与语言等事实项,成功表示核查结论与资料吻合,具体观察另行统计;不表示免费或没有海外依赖。不同网络、客户端和版本的结果不能直接等同。
最近有效核验
暂无审核通过且未过期的网友核验。欢迎提交真实使用记录。
查看全部有效核验 →