瑞芯微RK3588 语音识别模型准确度测试报告

以下是基于 LibriSpeech ASR corpus (clean版本, 2620条英文音频样本)，在 RK3588 板卡 上的语音识别模型性能评估报告。

实验概述

本次实验旨在对多种语音识别模型在 RK3588 边缘计算平台上的性能进行对比评估，重点考察模型在文件大小、识别速度、词错误率（WER）、字错误率（CER）等方面的表现。
所有模型均在相同的硬件与数据集环境下运行，评估对象包括：

• whisper_base_20s_rknn
• whisper_base_rknn
• whisper_small_rknn
• zipformer_rknn
• faster_whisper_base

其中，zipformer_rknn 为支持中英文无缝切换的多语言模型，其余模型均需手动指定语言模式。

模型性能对比表

性能分析

识别准确度

• 在词错误率（WER）与字错误率（CER）两项指标上，
  zipformer_rknn 明显优于其它模型（WER=10.93%，CER=4.12%），
  展现出优秀的识别精度与语言泛化能力。
• whisper_base_rknn 与 faster_whisper_base 的识别精度接近，均处于中上水平。
• whisper_base_20s_rknn 由于仅截取短片段（20秒），在长音频上存在上下文丢失问题，准确率明显下降。

推理速度

• zipformer_rknn 以平均 1.20 秒/条 的速度完成识别，
  在 RK3588 上具备极高的实时性与能效优势。
• whisper_base_20s_rknn 也较快（1.58 秒/条），但精度不足。
• whisper_small_rknn 虽有更大参数量（244M），但推理速度极慢（6.79 秒/条），
  不适合实时应用场景。

模型规模与硬件适配

• zipformer_rknn 在文件大小（121.83 MB）与参数量（65.7M）方面最轻量，
  特别适合嵌入式部署或资源受限设备。
• faster_whisper_base 文件体积较大（280 MB），
  在边缘设备部署中对存储和内存的要求更高。

多语言适应性

• 除 zipformer_rknn 外，其余模型均需手动指定语言模式（如--language en或--language zh），
  因此在多语言混合场景下不具备自适应能力。
• zipformer_rknn 可在中英文之间自动切换，
  对多语言环境（如中英混读）识别更自然、稳定。

综合结论

最终推荐：

zipformer_rknn 是在 RK3588 平台上综合表现最优的模型，
兼具高精度、低延迟、轻量化、多语言支持等特性。
适合实际部署于车载语音、智能终端及工业语音控制等边缘应用中。

若对英文识别精度要求极高、且硬件资源充足，可考虑 faster_whisper_base 作为次选方案。