AI仙宝L
githubLocalAI｜本地部署多模态AI模型的开源推理引擎
在自有电脑或服务器上运行大语言模型、语音、图像、视频等多模态模型的推理引擎，可为需要数据不出内网、按需加载后端的开发者和运维团队提供兼容主流云端接口的本地AI服务。
LLM 推理与部署跨平台（容器 / macOS 应用 / 服务端）使用难度
站长实测状态尚未登记
本地推理相关工具、教程与提示词
汇集本地推理主题下已发布的工具、教程、提示词与场景资料，帮助你了解用途、使用条件及操作方法。
AI 工具
D
外部应用DwarfStar（ds4）｜C 语言原生本地大模型推理引擎
一款用 C 从零编写的本地大模型推理引擎，面向希望在消费级 Mac 或大显存显卡上运行少量开源模型的开发者，支持兼容接口与本地编程助手接入。
LLM 推理与部署macOS、Linux（需自行编译，待核验）使用难度
站长实测状态尚未登记
S
外部应用SemIf（原名 OpenJev）｜基于概率读取的小决策判定工具
一个面向Agent小决策的开源项目，用冻结的小模型直接读取候选选项概率来判断是否，适合路由、重试、证据是否成立等判断场景，无需训练和JSON解析。
决策模型Linux/Windows（CUDA）、Apple Silicon（MLX/MPS）、纯CPU（llama.cpp）、浏览器WebGPU demo使用难度
站长实测状态尚未登记