exo

exo 简介

exo 是一个将多台设备连接成 AI 集群的开源项目，目标是在本地运行前沿大模型。它不仅能运行超出单设备显存容量的模型，还能随着设备增加而提升推理速度。

核心特性

• 自动设备发现：运行 exo 的设备会自动互相发现，无需手动配置。
• RDMA over Thunderbolt 5：支持 Thunderbolt 5 上的 RDMA，显著降低设备间通信延迟。
• 拓扑感知自动并行：根据设备资源与网络延迟/带宽，自动决定模型切分方式。
• 张量并行：支持模型分片，在多设备上获得加速。
• MLX 后端：使用 MLX 作为推理后端，并通过 MLX distributed 进行分布式通信。
• 多 API 兼容：兼容 OpenAI Chat Completions、Claude Messages、OpenAI Responses 与 Ollama API。
• 自定义模型：可从 HuggingFace Hub 加载自定义模型。

使用方式

在 macOS 上可以直接安装官方 App，或通过 Homebrew 安装：

brew install --cask exo

也可以从源码运行，需要准备 Xcode、uv、Node、Rust 等依赖；若已安装 Nix，可直接运行：

nix run .#exo

启动后，每台设备都会提供 API 与 Dashboard（默认 http://localhost:52415），用于管理集群和与模型对话。

适用与注意

exo 特别适合拥有多台 Apple Silicon 设备、希望本地运行大模型的用户。需要注意的是，其能力与 macOS/Apple Silicon 绑定较深，从源码构建的依赖也较多，建议先评估硬件与系统版本是否满足要求。