开源项目

按分类、标签筛选，或直接搜索项目名称。

分类标签排序

共 2 个项目 · 标签：模型部署

FastChat 是用于训练、部署和评估大语言模型聊天机器人的开源平台，支持 Vicuna、MT-Bench 和 Chatbot Arena 等，提供分布式多模型服务和 OpenAI 兼容 API。

Python 4k 4.8k

Python LLM AI 分布式模型部署聊天机器人

vLLM 是源自 UC Berkeley 的高吞吐、低显存 LLM 推理与服务引擎，凭借 PagedAttention 与连续批处理大幅提升吞吐，兼容 OpenAI API，支持 200+ 模型架构与多种硬件。

Python 96k 24k

Python LLM AI OpenAI 推理引擎模型部署