uzu 高性能 AI 推理引擎

uzu：高性能 AI 模型推理引擎

uzu 是由 Mirai 团队开发的高性能 AI 推理引擎，使用 Rust 编写，旨在让开发者将 AI 模型直接部署到应用中，实现零延迟、完全数据隐私和无推理成本。

核心特性

• 简单的高层 API：几行代码即可完成模型下载、会话创建与对话推理。
• 统一模型配置：方便添加对新模型的支持。
• 可追踪计算：确保推理结果与源实现一致。
• 利用 Apple 设备统一内存：在 iOS/macOS 上高效运行。
• 广泛模型支持：涵盖 LLM、TTS 等。

多语言支持

uzu 提供 Rust、Python、Swift、TypeScript 绑定，覆盖主流开发场景。

Rust 示例

use uzu::{engine::{Engine, EngineConfig}, types::session::chat::{ChatConfig, ChatMessage, ChatReplyConfig}};

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    let engine = Engine::new(EngineConfig::default()).await?;
    let model = engine.model("alibaba:qwen3.5:0.8b:mirai:mirai-m:4".to_string()).await?.ok_or("Model not found")?;
    let downloader = engine.download(&model).await?;
    // ... 下载进度处理
    let session = engine.chat(model, ChatConfig::default()).await?;
    let messages = vec![
        ChatMessage::system().with_text("You are a helpful assistant".to_string()),
        ChatMessage::user().with_text("Tell me a short, funny story about a robot".to_string()),
    ];
    let replies = session.reply(messages, ChatReplyConfig::default()).await?;
    // ... 输出回复
    Ok(())
}

Python 示例

import asyncio
from uzu import ChatConfig, ChatMessage, ChatReplyConfig, Engine, EngineConfig

async def main():
    engine = await Engine.create(EngineConfig.create())
    model = await engine.model("alibaba:qwen3.5:0.8b:mirai:mirai-m:4")
    # ... 下载与对话

Swift 与 TypeScript 用法类似，详见官方文档。

快速开始

1. 根据所用语言添加依赖（Rust 通过 git 依赖，Python 使用 uv add uzu，Swift 使用 SPM，TypeScript 使用 pnpm add @trymirai/uzu）。
2. 创建 Engine 实例并加载模型。
3. 创建聊天会话，发送消息并获取回复。

所有步骤（模型下载、推理配置）均自动处理，也可通过文档自定义。

适用场景

• 移动端/桌面端本地 LLM 聊天应用
• 隐私敏感的离线 AI 推理
• Apple 设备端侧模型部署
• 需要零推理成本的 AI 功能集成

注意事项

• 项目主要针对 Apple 生态优化，其他平台支持需进一步验证。
• 模型下载依赖官方源，离线部署需额外配置。
• 项目较新，API 可能变化，建议关注版本更新。