Whisper 语音识别

Whisper 简介

Whisper 是 OpenAI 开源的通用语音识别模型，论文标题为 Robust Speech Recognition via Large-Scale Weak Supervision。它在大规模多样化音频上训练，是一个多任务模型，可同时完成：

• 多语言语音识别（转写）
• 语音翻译（非英语语音转英文文本）
• 语种识别
• 语音活动检测等辅助任务

技术思路

模型采用 Transformer 序列到序列结构，把多种语音处理任务统一表示为待预测的 token 序列，通过特殊 token 指定任务类型。这样一个模型即可替代传统语音流水线中的多个阶段。

模型规格

官方提供多种尺寸，按速度与精度取舍（显存为大致需求）：

其中 turbo 是 large-v3 的优化版本，速度更快、精度略有下降，但不支持翻译任务。

安装与依赖

通过 pip 安装，并需要系统安装 ffmpeg：

pip install -U openai-whisper

# Ubuntu/Debian
sudo apt install ffmpeg
# macOS
brew install ffmpeg

若 tiktoken 无预编译包，可能还需要 Rust 工具链。

命令行使用

# 默认使用 turbo 模型转写
whisper audio.mp3 --model turbo

# 指定语种
whisper japanese.wav --language Japanese

# 翻译为英文（需多语言模型）
whisper japanese.wav --model medium --language Japanese --task translate

Python 调用

import whisper

model = whisper.load_model("turbo")
result = model.transcribe("audio.mp3")
print(result["text"])

transcribe() 内部以 30 秒滑动窗口对音频做自回归预测，长音频会自动切分处理。也可使用 detect_language()、decode() 等底层接口自行控制流程。

使用建议

• 纯英文场景优先选 .en 模型，小尺寸下提升明显。
• 需要翻译时避开 turbo，改用 medium 或 large。
• 显存有限时从 small/base 起步，再按效果升级。
• 中文等语种效果差异较大，建议用真实数据先做小规模评测。