如何快速上手Distil-Whisper：5分钟完成语音转文本的完整教程

【免费下载链接】distil-whisper Distilled variant of Whisper for speech recognition. 6x faster, 50% smaller, within 1% word error rate. 项目地址: https://gitcode.com/gh_mirrors/di/distil-whisper

Distil-Whisper是Whisper的蒸馏版本，专为英语语音识别设计，6倍速度提升，体积减少49%，而词错误率仅相差1%以内。作为一款轻量级语音转文本工具，它能帮助开发者和普通用户快速实现高效的语音识别功能，是替代传统Whisper的理想选择。

🌟 为什么选择Distil-Whisper？

Distil-Whisper作为Whisper的优化版本，具备五大核心优势：

1. 极致速度：比原版Whisper快6倍，适合实时语音转写场景
2. 轻量高效：模型体积减少近一半，节省存储空间和计算资源
3. 精度接近：保持与原版Whisper仅1%以内的词错误率差距
4. 投机解码支持：可作为Whisper的辅助模型，实现2倍速推理且保证输出一致性
5. 商业友好：采用MIT许可协议(LICENSE)，允许商业应用

📦 快速安装步骤

基础环境准备

确保你的系统已安装Python 3.8+，然后通过以下命令安装必要依赖：

pip install --upgrade pip
pip install --upgrade transformers accelerate datasets[audio]

克隆项目仓库

git clone https://gitcode.com/gh_mirrors/di/distil-whisper
cd distil-whisper

高级加速选项（可选）

如需启用Flash Attention加速，可额外安装：

pip install flash-attn --no-build-isolation

对于ONNX优化，安装Optimum库：

pip install --upgrade optimum

🚀 首次使用教程

基本语音识别示例

以下是一个简单的语音识别代码示例，展示如何使用Distil-Whisper处理音频文件：

from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor
from datasets import load_dataset

# 加载模型和处理器
model = AutoModelForSpeechSeq2Seq.from_pretrained("distil-whisper/distil-large-v3")
processor = AutoProcessor.from_pretrained("distil-whisper/distil-large-v3")

# 加载示例音频
dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
sample = dataset[0]["audio"]

# 处理音频
inputs = processor(sample["array"], sampling_rate=sample["sampling_rate"], return_tensors="pt")

# 生成转录文本
outputs = model.generate(**inputs, max_new_tokens=256)
transcription = processor.batch_decode(outputs, skip_special_tokens=True)[0]

print(transcription)

长音频处理

对于超过30秒的长音频，Distil-Whisper提供了专门的长文本转录算法。相关实现可参考run_long_form_transcription.py文件。

⚙️ 性能优化技巧

1.** 选择合适模型 ：根据需求选择不同规模的模型，如"distil-small"适合资源受限环境，"distil-large-v3"提供更高精度 2. 启用硬件加速 ：通过Flash Attention或ONNX运行时提升推理速度 3. 调整参数 **：通过修改max_new_tokens、temperature等参数平衡速度与精度

📚 更多资源

-** 训练代码 ：完整的训练脚本位于training目录，支持自定义模型训练 - 论文参考 ：详细技术原理可查阅Distil-Whisper论文 - Colab教程 **：提供端到端的Google Colab benchmark

Distil-Whisper凭借其速度与精度的平衡，正在成为语音识别领域的新选择。无论是开发语音助手、会议记录工具还是音频内容分析系统，它都能提供高效可靠的语音转文本能力。立即尝试，体验6倍速语音识别的魅力吧！

【免费下载链接】distil-whisper Distilled variant of Whisper for speech recognition. 6x faster, 50% smaller, within 1% word error rate. 项目地址: https://gitcode.com/gh_mirrors/di/distil-whisper