FunASR on llama.cpp 之于 FunASR,正如 whisper.cpp 之于 Whisper:把 SenseVoice / Paraformer / Fun-ASR-Nano 三个模型搬到 ggml 栈上,**在没有 GPU、没有 Python 的地方也能跑**(笔记本、边缘盒子、嵌入式 C/C++ 应用),与 GPU 上的 PyTorch / vLLM 路线互补。VAD(FSMN)已内置进二进制。

下载预编译二进制(下载即用)

覆盖 Linux(x64/arm64)、macOS(arm64)、Windows(x64),静态自包含、无依赖。三个仓库的 Releases 都能下:

三行跑通

# 1) 解压下载的二进制,拉一个模型(自动下 GGUF + VAD)
bash download-funasr-model.sh sensevoice ./gguf

# 2) 直接出中文(二进制内置 detok,无需 Python)
llama-funasr-sensevoice -m ./gguf/SenseVoiceSmall-f16.gguf --vad ./gguf/fsmn-vad.gguf -a audio.wav
# -> 欢迎大家来体验达摩院推出的语音识别模型

换模型:download-funasr-model.sh paraformer 配 llama-funasr-paraformer;download-funasr-model.sh nano 配 llama-funasr-cli(Fun-ASR-Nano,31 语种)。

精度:中文上对 whisper.cpp 是碾压

同一 184 集中文测试集,字错误率 CER(micro-avg,越低越准):

模型	CER ↓	说明
FunASR SenseVoice	8.01%	多语种 + 情感/事件
FunASR Paraformer	9.85%	非自回归,工业级中文
FunASR Fun-ASR-Nano	8.30%	LLM-ASR,31 语种
whisper.cpp small	22.12%
whisper.cpp large-v3-turbo	23.15%
whisper.cpp base	31.33%

FunASR 的中文 CER 约为 whisper.cpp 的 1/3。完整方法学见各仓 runtime/llama.cpp/BENCHMARKS.md。

模型体积与精度(量化档)

量化后体积更小、速度更快,精度几乎不变(全 184 集 micro-CER):

模型	档	体积	CER ↓	速度
SenseVoice encoder	f16	470 MB	8.01%	23×
SenseVoice encoder	q8	254 MB	7.99%	27×
Paraformer encoder	f16	435 MB	9.85%	22×
Paraformer encoder	q8	237 MB	9.78%	27×
Fun-ASR-Nano LLM*	q8_0	805 MB	8.30%	6.0×
Fun-ASR-Nano LLM*	q5_K_M	551 MB	8.25%	5.7×
Fun-ASR-Nano LLM*	q4_K_M	484 MB	8.35%	6.1×

* Fun-ASR-Nano 另需 encoder(f16 470 MB)。q8 编码器体积减半、CER 反而略降;Nano LLM 三档精度几乎无差——推荐 q4_K_M(最小)或 q5_K_M(最佳)。

包含什么

• 6 个二进制:llama-funasr-{cli,encoder,embd,sensevoice,paraformer,vad},静态、无 .so 依赖。
• 内置 FSMN-VAD(--vad)、二进制内 detok 直接出文字、kaldi 兼容 fbank 前端。
• GGUF 模型在 Hugging Face:FunAudioLLM / funasr(f16 / f32 / q8 + 嵌入 vocab;q8 体积约为 f16 的一半、精度不变,下载更快)。
• 源码与文档:runtime/llama.cpp/(README / DESIGN / BENCHMARKS)。

延伸阅读:FunASR 跑进 llama.cpp(whisper.cpp 替代)详解