Mms Zeroshot 300m

🚀 大規模多語言語音（MMS） - 微調自動語音識別 - 全語言

本項目是 MMS零樣本項目 的一個檢查點，該模型僅需少量新語言的無標籤文本，就能轉錄幾乎任何語言的語音。其方法基於一個在1150種語言數據上訓練的多語言聲學模型（利用了 MMS 的數據），該模型以中間表示形式（uroman 標記）輸出轉錄結果。然後，將少量新的、未見過的語言文本也映射到這個中間表示，在推理時，這種映射結合可選的語言模型，就能實現對新語言的轉錄。

🚀 快速開始

請查看 官方空間 以獲取模型使用示例。

✨ 主要特性

• 僅需少量新語言的無標籤文本，就能轉錄幾乎任何語言的語音。
• 基於在1150種語言數據上訓練的多語言聲學模型。
• 輸出中間表示形式（uroman標記）的轉錄結果。

📚 詳細文檔

模型詳情

@article{zhao2024scaling,
  title={Scaling A Simple Approach to Zero-Shot Speech Recognition},
  author={Zhao, Jinming and Pratap, Vineel and Auli, Michael},
  journal={arXiv preprint arXiv:2407.17852},
  year={2024}
}

額外鏈接

• 論文
• GitHub 倉庫
• 官方空間

📄 許可證

本項目採用 CC - BY - NC 4.0 許可證。