exo
exo 将多台设备组成 AI 集群，让本地运行前沿大模型成为可能。支持自动发现、RDMA over Thunderbolt 5、拓扑感知并行与张量并行，兼容 OpenAI、Claude、Ollama 等 API，并内置管理面板。
Python
48k
3.6k
Python
LLM
AI
Apple芯片
分布式推理
MLX