16.9 MB 的 Whistle 对上 Whisper base:体积差多少倍、哪些测试集谁领先、你的场景该选哪个。
| 指标 | Whistle | Whisper base | 谁更好 |
|---|---|---|---|
| 模型体积 | 16.9 MB | 145.3 | <span class="win">Whistle</span> |
| 首字延迟(10 秒音频) | 11.1 ms | 73.2 | <span class="win">Whistle</span> |
| 解码速度 | 1319 tok/s | 266 | <span class="win">Whistle</span> |
| 支持语言 | 7 | 99 | <span class="lose">Whisper base</span> |
| 开源协议 | Apache 2.0 | MIT | — |
| 测试集 | 测的是什么 | Whistle | Whisper base | 谁更准 |
|---|---|---|---|---|
| LibriSpeech test-clean | 清晰有声书朗读 | 4.31% | 4.9 | <span class="win">Whistle</span> |
| LibriSpeech test-other | 带口音的朗读 | 10.49% | 11.0 | <span class="win">Whistle</span> |
| SPGISpeech | 财报电话会(清晰) | 7.65% | 官方未发布 | <span class="na">官方未发布</span> |
| Earnings-22 | 财报电话会(多口音) | 19.01% | 官方未发布 | <span class="na">官方未发布</span> |
| AMI | 会议室多人录音 | 26.07% | 官方未发布 | <span class="lose">Whisper base 更准(官方声明,未公布数值)</span> |
| AMI cleaned | 会议录音(清洗版) | 22.87% | 官方未发布 | <span class="na">官方未发布</span> |
| TED-LIUM | TED 演讲长音频 | 7.61% | 官方未发布 | <span class="lose">Whisper base 更准(官方声明,未公布数值)</span> |
| FLEURS | 7 语言朗读平均 | 21.4% | 24.5 | <span class="win">Whistle</span> |
| MLS | 6 种非英语言有声书 | 24.9% | 官方未发布 | <span class="lose">Whisper base 更准(官方声明,未公布数值)</span> |
Whisper base 在 TED-LIUM、AMI、MLS 上更准,且覆盖 99 种语言;Whistle 以 1/9 的体积在朗读与商务语音上反超。
pip install cactus-needle
import needle
print(needle.transcribe("clip.wav")["text"])