llmfit

llmfit 简介

llmfit 是一个用 Rust 编写的开源工具，旨在帮你回答一个实际问题：我的硬件到底能跑哪个大模型？ 它通过自动检测 CPU 核心数、系统内存、GPU 型号与显存（支持 NVIDIA CUDA、Apple Silicon、AMD ROCm、Intel OneAPI），结合模型参数量、上下文长度和量化格式，估算内存占用与推理速度，并给出适合你硬件的模型推荐列表。

核心功能

• 硬件自动检测：识别 CPU、RAM、独立/集成 GPU、VRAM 以及统一内存架构。
• 模型兼容性引擎：分析 GGUF、AWQ、GPTQ、EXL2 等量化格式，预测内存占用和每秒 token 数。
• 交互式 TUI 与 Web 面板：默认提供终端界面，也支持功能丰富的 Web 仪表盘。
• REST API：暴露 /api/v1/system 和 /api/v1/models 等标准 HTTP JSON 接口，方便集成到编排器或自动化部署流水线。
• 多平台支持：macOS（Apple Silicon 与 Intel）、Linux（x86_64 与 ARM64）、Windows（x86_64）。
• 社区基准测试：下载模型并实际运行后，可将测得的 tok/s 数据贡献回项目，帮助其他相同硬件的用户获得更准确的预估。

安装方式

llmfit 提供多种安装途径，以下为常见示例（具体命令请以官方文档为准）：

• Windows：使用 WinGet 或 Scoop。
• macOS / Linux：使用 Homebrew、MacPorts 或一键安装脚本。
• Python 生态：通过 uv tool install llmfit 或 uvx llmfit 安装运行。
• 容器：提供多架构 Docker 镜像 ghcr.io/alexsjones/llmfit，支持交互式 TUI 和无头 Web/API 模式。
• 源码编译：克隆仓库后执行 cargo build --release。

使用方式

在终端直接运行 llmfit 即可启动交互式 TUI，界面顶部显示检测到的硬件规格，下方列出所有模型并按适配度、速度、质量和上下文长度打分排序。你也可以使用经典 CLI 模式进行脚本化查询，例如：

llmfit recommend --use-case coding

该命令会输出 JSON 格式的推荐结果，便于用 jq 等工具进一步处理。

适用场景

• 在本地部署 LLM 前快速评估硬件可行性。
• 对比不同量化方案对显存和速度的影响。
• 为多 GPU 或统一内存架构规划模型部署。
• 将模型推荐能力集成到自动化运维或 CI 流程中。

注意事项

llmfit 的推荐结果基于社区提交的基准数据和估算模型，实际性能可能因驱动、系统负载等因素有所差异。对于尚未被社区覆盖的模型，预估精度可能有限。建议在关键场景下结合实测数据进行决策。