介绍
FunASR 是阿里巴巴达摩院（Damo Academy）开源的工业级端到端语音识别工具包，核心定位是打通学术研究与产业落地的鸿沟，提供一站式语音处理解决方案。
- 开源时间：2023 年 5 月（arXiv 论文发布）
- 核心开发：阿里达摩院语音实验室（SpeechLab）
- 核心模型：Paraformer（非自回归端到端 ASR）
- 核心优势：高精度、高速度、低成本、全链路、多语言、可离线
官网：
https://github.com/modelscope/FunASR/blob/main/README_zh.md
整体架构
FunASR 采用模块化流水线设计，覆盖从原始音频到最终文本的全链路：
音频文件/实时流
↓
FSMN-VAD 语音静音切分
↓
Paraformer / Conformer 声学模型识别
↓
CT-PUNC 标点恢复
↓
ITN 数字/日期/金额文本归一化
↓
输出：带标点文本 + 字级时间戳 + 分段
核心模块
- （1）Paraformer：非自回归端到端 ASR 模型
- 训练数据：6 万小时人工标注中文语音（工业级）
- 技术特点：非自回归解码，支持并行输出，推理速度比自回归模型（如 Transformer）快 10 倍，精度持平
- 轻量版本：FunASR-Nano（0.8B），4G 显存即可运行，字符错误率（CER）低至 2.16%
- （2）FSMN-VAD：语音端点检测
- 基于前馈序列记忆网络，精准区分语音/静音/噪声，支持长音频流式切分
- （3）CT-Transformer：标点恢复
- 可控时延 Transformer，自动添加逗号/句号/问号，提升文本可读性
- （4）ITN：逆文本正则化
- 将“一千二百三十四”转为“1234”，处理数字、日期、金额等标准化场景
核心功能
1. 语音识别（ASR）
- 离线文件转写：支持几十小时长音频/视频，输出带标点+字级时间戳，支持 MP3/WAV/MP4 等全格式
- 实时流式听写：低延迟（
<200ms），支持“实时输出+句尾高精度修正”（2pass 模式） - 多语言支持：中文、英文、粤语、方言（四川/上海/粤语）、小语种（日语/韩语）
2. 热词增强（工业刚需）
- 支持自定义热词库（如公司名、专业术语、人名），热词准确率可达 91.81%
- 技术：Prompt 软引导 + 拼音模糊匹配，支持几十万热词毫秒级检索
3. 说话人分离与多人对话
- 区分不同说话人（如会议/客服通话），输出“说话人 A：xxx；说话人 B：xxx”
4. 部署能力（全平台适配）
- 服务端：CPU/GPU 部署，支持上百路并发，集成 ffmpeg
- 客户端：Python/C++/Java/C#/HTML 多语言 SDK，支持 Windows/Linux/macOS
- 离线本地：无需联网，数据不出本地，隐私安全（适合医疗/政务/企业内网）
性能优势
1. 精度（中文）
- 通用场景：CER 2.16%–4.17%
- 高噪声场景：抗噪能力强，远场/嘈杂环境准确率比 Whisper 高 5–10%
2. 速度
- Paraformer 非自回归：GPU 推理 10 倍加速，单机可支撑 1000+ 路并发
- FunASR-Nano：CPU 实时识别，1 秒音频仅需 0.1 秒处理
3. 资源占用
- 轻量模型：4G 显存即可运行（Nano 版）
- 服务端：1 台 8 核 CPU 可支撑 50 路实时流式识别
典型应用场景
- 会议纪要：实时转写+说话人分离，自动生成带时间戳的会议记录
- 客服质检：批量转写通话录音，识别违规话术，支持热词（如“投诉”“退款”）
- 媒体字幕：视频自动生成字幕，支持多语言，降低人工成本
- 本地隐私场景：医疗问诊、政务谈话、企业内网会议，数据不出本地
- 嵌入式设备：边缘端（如工业平板、智能音箱）离线语音交互
与主流工具对比
| 对比维度 | FunASR（Paraformer） | Whisper（Large-v3） |
|---|---|---|
| 中文精度 | CER 2.16%–4.17% | CER 5%–8% |
| 推理速度 | 快（非自回归） | 慢（自回归） |
| 热词支持 | 强（91.81% 准确率） | 弱 |
| 离线能力 | 完全离线 | 离线（模型大） |
| 资源占用 | 低（4G 显存） | 高（10G+ 显存） |
| 工业部署 | 成熟（并发/服务端） | 一般 |
总结
FunASR 是目前中文离线语音识别的最优解，兼具高精度、高速度、低成本、全链路能力，特别适合工业级落地与隐私敏感场景。其核心模型 Paraformer 打破了“非自回归=低精度”的固有认知，为语音识别的大规模部署提供了新范式。