Distil Large V3.5 ONNX

🚀 Distil-Whisper: Distil-Large-v3.5

Distil-Whisper是OpenAI的Whisper-Large-v3的知識蒸餾版本，相關內容在論文Robust Knowledge Distillation via Large-Scale Pseudo Labelling中有所描述。作為Distil-Whisper英語家族的最新成員，Distil-Large-v3.5在保持前輩模型高效率的同時，還具備更出色的性能。

✨ 主要特性

• 與早期模型相比，Distil-Large-v3.5在超過4倍更多樣化的公共數據（98k小時）上進行了訓練。
• 在蒸餾過程中使用了一個"patient" teacher，並採用了延長的訓練計劃和激進的數據增強策略（SpecAugment）。
• 與之前的Distil-Whisper模型相比，具有更強的魯棒性和準確性，可作為直接替代品。
• 它在準確性和效率之間提供了不同的平衡，比Whisper-Large-v3-Turbo 快約1.5倍，在短格式轉錄上表現略好，在長格式轉錄上落後約1%。
• 它可以作為與Whisper-Large-v3進行推測解碼的草稿模型。通過在訓練期間凍結編碼器，我們只需加載兩個額外的解碼器層，並僅對編碼器進行一次前向傳播。這在保持相同輸出的情況下，與Whisper-Large-v3相比，推理速度提高了約2倍。

📊 模型對比

📦 安裝指南

如果你還沒有安裝Transformers.js JavaScript庫，可以使用以下命令從NPM進行安裝：

npm i @huggingface/transformers

💻 使用示例

基礎用法

安裝完成後，你可以按照以下方式對音頻進行轉錄：

import { pipeline } from '@huggingface/transformers';

const transcriber = await pipeline('automatic-speech-recognition', 'distil-whisper/distil-large-v3.5-ONNX');

const url = 'https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/jfk.wav';
const output = await transcriber(url);
// { text: "And so, my fellow Americans, ask not what your country can do for you. Ask what you can do for your country." }

📄 許可證

本項目採用MIT許可證。

本模型是Bofeng Huang、Eustache Le Bihan、Steven Zheng、Vaibhav Srivastav和Joshua Lochner之間的🤗合作成果。