SenseVoice Small语音识别实战｜支持多语种与情感事件标签提取

1. 引言

1.1 业务场景描述

在智能客服、会议记录、内容审核和情感分析等实际应用中，传统的语音识别（ASR）系统往往只能输出文本内容，缺乏对语言类型、说话人情绪以及背景音事件的感知能力。这种“纯文本”模式难以满足复杂场景下的深度理解需求。

例如，在一段客户投诉录音中，除了转录对话内容外，企业还希望自动识别出：

• 使用的是普通话还是粤语？
• 客户语气是否激动或愤怒？
• 是否存在背景音乐、笑声或电话铃声？

这些信息对于后续的服务质量评估、情绪预警和自动化处理至关重要。

1.2 痛点分析

现有主流ASR工具普遍存在以下局限性：

问题	具体表现
单一功能	仅支持语音到文字转换，无法识别语种、情感或事件
多模型拼接	需额外部署语种识别、情感分析、声学事件检测等多个模型，成本高且延迟大
推理效率低	多阶段流水线导致整体响应时间长，不适合实时场景
部署复杂	模型间数据格式不统一，接口适配困难

1.3 方案预告

本文将基于 SenseVoice Small 模型，结合由“科哥”二次开发的 WebUI 镜像环境，详细介绍如何实现一个集 语音识别 + 多语种识别 + 情感标签提取 + 声学事件检测 四合一的端到端解决方案。

该方案具备以下优势：

• ✅ 支持中文、英文、日文、韩文、粤语等多种语言
• ✅ 自动标注开心、生气、悲伤等7类情感状态
• ✅ 提取掌声、笑声、咳嗽、键盘声等11类背景事件
• ✅ 提供图形化界面，支持上传文件与麦克风输入
• ✅ 开箱即用，一键部署，适合快速验证与原型开发

---

2. 技术方案选型

2.1 可选技术对比

为解决上述痛点，我们考察了三种典型的技术路径：

方案	特点	成本	实时性	扩展性
多模型串联（ASR + LID + SER + AED）	功能完整但架构复杂	高	差	差
Whisper + 微调头	支持多语种，生态丰富	中	一般	较好
SenseVoice Small	原生支持四大任务融合输出	低	优	优

经过综合评估，SenseVoice Small 在功能集成度、推理速度和部署便捷性方面表现最优，成为本次实践的首选方案。

2.2 为什么选择 SenseVoice Small？

SenseVoice 是阿里达摩院推出的音频基础大模型，其核心优势在于：

• 统一建模框架：在一个模型中同时完成 ASR、LID（语种识别）、SER（语音情感识别）和 AED（声学事件检测）
• 端到端训练：避免多模型拼接带来的误差累积
• 轻量化设计：Small 版本参数量适中，可在消费级 GPU 上高效运行
• 开源可商用：基于 ModelScope 平台发布，支持本地部署

更重要的是，社区开发者“科哥”已将其封装为带 WebUI 的 Docker 镜像，极大降低了使用门槛。

---

3. 实现步骤详解

3.1 环境准备

本项目基于预构建镜像运行，无需手动安装依赖。

# 启动服务（镜像内已预装）
/bin/bash /root/run.sh

访问地址：

http://localhost:7860

说明：该镜像已集成 funasr、torchaudio、gradio 等必要库，并配置好模型路径与启动脚本。

3.2 核心代码解析

3.2.1 模型加载与初始化

from model import SenseVoiceSmall

# 加载预训练模型
model_dir = "iic/SenseVoiceSmall"
m, kwargs = SenseVoiceSmall.from_pretrained(model=model_dir)

kwargs 包含设备信息、采样率、特征提取器等运行时参数，由 AutoModel 自动推导。

3.2.2 推理接口调用

res = m.inference(
    data_in="https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_zh.wav",
    language="auto",      # 自动检测语种
    use_itn=False,        # 是否启用逆文本正则化
    **kwargs,
)

print(res)

输出示例：

[{
  "key": "asr_example_zh",
  "text": "开放时间早上9点至下午5点。😊"
}]

其中 😊 表示识别出的情感标签（HAPPY），前缀如 🎼😀 表示背景事件（BGM + Laughter）。

3.2.3 关键机制解析

（1）Prompt Embedding 注入

SenseVoice 通过在输入序列前端注入特殊 token 实现多任务控制：

# 构造查询向量
language_query = self.embed(torch.LongTensor([[self.lid_dict[language]]]))
style_query = self.embed(torch.LongTensor([[self.textnorm_dict[textnorm]]]))
event_emo_query = self.embed(torch.LongTensor([[1, 2]]))  # 固定事件/情感占位符

# 拼接输入
speech = torch.cat((language_query, style_query, event_emo_query, fbank_features), dim=1)

这种方式类似于“提示工程”，引导模型关注特定任务。

（2）CTC + Attention 联合解码

模型采用 CTC 主干进行语音识别，同时通过 attention head 输出 rich label（包含事件与情感）：

# CTC 解码获取文本
ctc_logits = self.ctc.log_softmax(encoder_out)
yseq = torch.argmax(ctc_logits, dim=-1)

# 过滤重复token并去blank
yseq = torch.unique_consecutive(yseq[yseq != self.blank_id], dim=-1)

# Token转文本
text = tokenizer.decode(yseq.tolist())

（3）标签映射表设计

内置字典实现语种与标签的整数编码：

self.lid_dict = {
    "auto": 0, "zh": 3, "en": 4, "yue": 7,
    "ja": 11, "ko": 12, "nospeech": 13
}

self.textnorm_dict = {"withitn": 14, "woitn": 15}

确保不同任务共享同一词汇空间，提升联合训练效果。

---

4. WebUI 使用指南

4.1 页面布局说明

界面分为左右两大区域：

┌──────────────────────┬──────────────────────────────────┐
│  🎤 上传音频          │  💡 示例音频                      │
│  🌐 语言选择          │  - zh.mp3 (中文)                 │
│  ⚙️ 配置选项          │  - en.mp3 (英文)                 │
│  🚀 开始识别          │  ...                             │
│  📝 识别结果          │                                  │
└──────────────────────┴──────────────────────────────────┘

左侧为操作区，右侧提供测试样本。

4.2 操作流程演示

步骤 1：上传音频

支持两种方式：

• 文件上传：点击区域选择 .mp3, .wav, .m4a 等格式
• 麦克风录制：浏览器授权后直接录音

步骤 2：选择语言

下拉菜单选项包括：

• auto（推荐）：自动检测语种
• zh：普通话
• yue：粤语
• en：英语
• ja：日语
• ko：韩语
• nospeech：无语音检测模式

步骤 3：开始识别

点击“🚀 开始识别”按钮，系统将在数秒内返回结果。

⏱️ 性能参考：

• 10秒音频 → ~0.8秒
• 1分钟音频 → ~4秒 （取决于CPU/GPU性能）

步骤 4：查看结果

识别结果包含三部分：

类型	符号	对应标签
事件标签（开头）	🎼 👏 😀 😭 🤧 🔔 🚗 🚶 🚪 🚨 ⌨️ 🖱️	BGM, Applause, Laughter, Cry, Cough, Ringtone, Engine, Footsteps, Door, Alarm, Keyboard, Mouse
文本内容	——	转录文字
情感标签（结尾）	😊 😡 😔 😰 🤢 😮	HAPPY, ANGRY, SAD, FEARFUL, DISGUSTED, SURPRISED, NEUTRAL

示例：

🎼😀欢迎收听本期节目，我是主持人小明。😊

解读：

• 背景有音乐和笑声
• 内容为节目开场白
• 主持人情绪积极愉快

---

5. 实践问题与优化

5.1 常见问题及解决方案

问题	原因分析	解决方法
上传无反应	文件损坏或格式不支持	更换为 WAV 格式重试
识别不准	背景噪音大或口音严重	使用高质量麦克风，选择 auto 模式
速度慢	音频过长或资源不足	分段处理，关闭其他进程
情感误判	语速快或语调模糊	结合上下文人工校验

5.2 提高准确率的实用技巧

（1）音频质量建议

• 采样率 ≥ 16kHz
• 优先使用 WAV（无损压缩）
• 控制环境噪音（信噪比 > 20dB）
• 避免回声与混响

（2）语言选择策略

场景	推荐设置
明确语种（如全英文会议）	直接指定 en
方言/口音明显	使用 auto 自动检测
中英混合对话	auto 效果更佳

（3）批处理优化

利用 batch_size_s=60 参数开启动态批处理，可显著提升吞吐量：

# 配置项说明
batch_size_s: 60  # 每批累计60秒音频
merge_vad: True   # 合并VAD分段
use_itn: False    # 关闭逆文本正则化（加快速度）

适用于批量转录历史录音文件。

---

6. 总结

6.1 实践经验总结

通过本次实战，我们验证了 SenseVoice Small + WebUI 二次开发镜像 是一套高效、易用的多模态语音理解方案。其核心价值体现在：

• 一体化输出：单次推理即可获得文本、语种、情感、事件四维信息
• 低门槛部署：Docker 镜像开箱即用，无需深度学习背景
• 高实用性：特别适合智能客服质检、播客内容分析、远程教学反馈等场景
• 可扩展性强：源码开放，支持微调与定制化开发

6.2 最佳实践建议

1. 生产环境建议使用 auto 模式，兼顾准确性与鲁棒性；
2. 对情感敏感的应用，建议结合文本语义做二次校验；
3. 长音频处理时分段输入，避免内存溢出与延迟过高。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。