返回列表

DwarfStar(ds4)|C 语言原生本地大模型推理引擎

一款用 C 从零编写的本地大模型推理引擎,面向希望在消费级 Mac 或大显存显卡上运行少量开源模型的开发者,支持兼容接口与本地编程助手接入。

LLM 推理与部署本地推理开源模型C 语言兼容 API站长实测状态尚未登记

工具介绍

用途

DwarfStar(仓库标识 ds4)是 Redis 作者 antirez 用 C 语言从零实现的推理引擎。资料称其目标是在消费级硬件(如大内存 Mac 或单张大显存 NVIDIA 显卡)上运行少数接近前沿的开源模型,并采用较激进的低位宽路由量化来压缩占用。

适用人群

  • 希望在本地跑模型、避免调用外部 API 的开发者;
  • 想用 Claude Code、Codex、opencode、Zed 等客户端连接本地服务的用户;
  • 愿意自行编译和调试 C 项目的进阶用户。

已知能力(据来源描述)

  • 提供 OpenAI 与 Anthropic 兼容 API,客户端可直接指向本地地址;
  • 内置编程智能体与磁盘 KV 缓存;
  • 支持跨机器分层拆分,以便运行单机放不下的模型;
  • 明确不是通用 GGUF 加载器,仅支持其已适配的模型。

使用步骤

  1. 按仓库说明获取源码并编译;
  2. 准备受支持的模型权重(仅限作者适配的模型);
  3. 启动服务,确认本机监听地址与端口;
  4. 在客户端中把接口地址改指向本地服务;
  5. 按需启用磁盘缓存或分层拆分。

费用与限制

项目自身费用情况需查阅仓库说明;硬件门槛较高,需大内存或大显存。上述模型名单、硬件容量与量化效果均为来源声明,尚未实测核验。软件许可以仓库独立条款为准,导航页许可不适用于软件本身。国内下载与网络可用性待核验。

来源与使用边界

原始入口:https://github.com/antirez/ds4

整理来源:https://github.com/ikaijua/Awesome-AITools

依据来源资料经AI翻译整理,未由本站实测。原始资料许可:CC-BY-4.0;目录许可不代表各产品或文件的使用授权。费用、账号、国内访问与版本兼容条件以原始发布者最新说明为准。

运行与适配

使用难度
如何理解使用难度?
  • 直接使用:通常打开网页或登录账号即可使用。
  • 简单配置:需要填写密钥、连接服务或导入配置。
  • 需要部署:需要安装依赖、配置运行环境或自行部署。
  • 技术开发:需要编程、接口集成或开发调试。

格数越多,使用门槛越高;具体要求请看下方说明。

macOS、Linux(需自行编译,待核验)

适配情况需核验:仅支持作者声明适配的模型,非通用 GGUF 加载器。

访问来源 ↗

国内使用情况与网友核验

网友核验 用户经验分享

与站长实测独立,不代表官方认证或本站已实测。

我要核验
0 位参与者0 份有效分项记录

最近核验:暂无有效核验。参与人数按当前项目有效身份去重;不同核验项分别统计,不合并成用户总结果。仅统计审核通过且未过期的记录。

分项统计、有效期与样本量
核验项目有效人数成功 / 部分 / 失败 / 无法判断成功率最近核验 / 有效期
官方网站访问00 / 0 / 0 / 0样本不足暂无 / 7 天
GitHub 仓库访问00 / 0 / 0 / 0样本不足暂无 / 7 天
安装与运行00 / 0 / 0 / 0样本不足暂无 / 30 天
官方服务国内连接 / MCP 连接00 / 0 / 0 / 0样本不足暂无 / 30 天
国内网络情况00 / 0 / 0 / 0样本不足暂无 / 7 天
国内模型兼容性00 / 0 / 0 / 0样本不足暂无 / 30 天
自定义 API00 / 0 / 0 / 0样本不足暂无 / 30 天
海外服务依赖
00 / 0 / 0 / 0样本不足暂无 / 30 天
海外账号要求
00 / 0 / 0 / 0样本不足暂无 / 30 天
中文界面
00 / 0 / 0 / 0样本不足暂无 / 30 天
客户端兼容性00 / 0 / 0 / 0样本不足暂无 / 30 天
账号及费用信息
00 / 0 / 0 / 0样本不足暂无 / 30 天

成功率 = 成功 ÷(成功 + 部分成功 + 失败);无法判断不计入分母。至少 5 份可判断结果才显示成功率。账号、费用、海外依赖与语言等事实项,成功表示核查结论与资料吻合,具体观察另行统计;不表示免费或没有海外依赖。不同网络、客户端和版本的结果不能直接等同。

最近有效核验

暂无审核通过且未过期的网友核验。欢迎提交真实使用记录。

查看全部有效核验 →

反馈此内容的问题