FireRedASR性能优化指南：如何将语音识别延迟降低至100ms以内？

【免费下载链接】FireRedASR FireRedASR is a family of open-source industrial-grade ASR models supporting Mandarin, Chinese dialects and English, achieving a new SOTA on public Mandarin ASR benchmarks, while also offering outstanding singing lyrics recognition capability. 项目地址: https://gitcode.com/gh_mirrors/fi/FireRedASR

FireRedASR是一款支持普通话、汉语方言和英语的开源工业级语音识别模型，在公共普通话ASR基准测试中实现了新的SOTA，同时还具备出色的歌声歌词识别能力。对于实时语音交互场景而言，将识别延迟降低至100ms以内至关重要，本文将分享一系列实用的性能优化技巧。

模型架构优化：从源头提升效率

FireRedASR的模型架构是性能优化的关键。其核心包含Conformer编码器和Transformer解码器，通过合理调整模型结构可以显著降低延迟。

图：FireRedASR模型架构示意图，展示了Conformer编码器、Adapter和Transformer解码器等核心组件

精简模型结构

• 减少网络层数：在保证识别精度的前提下，适当减少Conformer编码器的层数。可通过修改fireredasr/models/fireredasr.py中的网络层参数实现。
• 降低隐藏层维度：调整模型隐藏层维度，在精度损失可接受范围内降低计算量。相关配置可在fireredasr/utils/param.py中找到。

模型推理加速：TensorRT部署方案

利用TensorRT进行模型优化是实现低延迟的重要手段，FireRedASR提供了完整的TensorRT部署支持。

模型导出为TensorRT格式

通过运行以下命令将模型导出为TensorRT格式，可大幅提升推理速度：

python3 runtime/triton_tensorrt/scripts/export_encoder_tensorrt.py

该脚本位于runtime/triton_tensorrt/scripts/export_encoder_tensorrt.py，会对模型进行优化，包括层融合、精度校准等操作。

部署Triton推理服务

使用Triton Inference Server部署优化后的模型，可实现高并发、低延迟的推理服务。相关配置文件位于runtime/triton_tensorrt/model_repo_fireredasr_aed/fireredasr/config.pbtxt，可根据实际需求调整批处理大小和并行度。

预处理优化：减少前端耗时

语音预处理是整个识别流程中不可忽视的一环，优化预处理步骤可有效降低端到端延迟。

特征提取优化

FireRedASR使用fireredasr/data/asr_feat.py进行特征提取，可通过以下方式优化：

• 减少特征维度：在保证识别效果的前提下，适当降低梅尔频谱的维度
• 优化窗口函数：选择计算效率更高的窗口函数

分词器优化

分词器是预处理的重要组成部分，fireredasr/tokenizer/llm_tokenizer.py和fireredasr/tokenizer/aed_tokenizer.py分别实现了不同场景下的分词功能。可通过以下方式优化：

• 使用预编译的词典：减少运行时分词的计算量
• 简化分词规则：在不影响识别效果的前提下，简化分词逻辑

运行时优化：系统级调优策略

除了模型和算法层面的优化，系统级的运行时优化同样重要。

合理设置线程数

根据CPU核心数量，合理设置推理线程数。可通过修改fireredasr/utils/param.py中的线程配置参数，充分利用多核CPU的计算能力。

内存管理优化

在推理过程中，合理管理内存分配和释放，避免频繁的内存操作。相关代码可参考runtime/triton_tensorrt/infer.py中的内存管理部分。

性能测试与监控

优化完成后，需要对系统性能进行全面测试和监控，确保延迟达到100ms以内的目标。

测试工具

使用examples/inference_fireredasr_aed.sh和examples/inference_fireredasr_llm.sh脚本进行性能测试，这两个脚本分别用于不同模型的推理测试。

关键指标监控

• 端到端延迟：从语音输入到识别结果输出的总时间
• 推理延迟：模型推理部分的耗时
• 吞吐量：单位时间内处理的语音数据量

通过以上优化策略的综合应用，FireRedASR可以实现100ms以内的语音识别延迟，满足实时语音交互场景的需求。不同应用场景可能需要不同的优化侧重点，建议根据实际需求进行调整和测试。

想要开始使用FireRedASR？只需执行以下命令克隆仓库：

git clone https://gitcode.com/gh_mirrors/fi/FireRedASR

然后参考项目中的README.md文档进行安装和配置。

【免费下载链接】FireRedASR FireRedASR is a family of open-source industrial-grade ASR models supporting Mandarin, Chinese dialects and English, achieving a new SOTA on public Mandarin ASR benchmarks, while also offering outstanding singing lyrics recognition capability. 项目地址: https://gitcode.com/gh_mirrors/fi/FireRedASR