Mms Zeroshot 300m

🚀 大規模多言語音声 (MMS) - 微調整済み自動音声認識 - 全言語

このモデルは、MMS Zero-shot project のチェックポイントです。このプロジェクトは、新しい言語の少量の未ラベルテキストのみを使用して、ほぼすべての言語の音声を文字起こしするモデルです。このアプローチは、1,150 の言語のデータで学習された多言語音響モデル（MMS のデータを活用）に基づいており、中間表現（uroman トークン）で文字起こしを出力します。その後、新しい未知の言語の少量のテキストもこの中間表現にマッピングされ、推論時にこのマッピングとオプションの言語モデルにより、新しい言語の文字起こしが可能になります。

📚 目次

• 使用例
• モデルの詳細
• 追加リンク

💻 使用例

モデルの使用例については、公式スペース をご覧ください。

🔧 モデルの詳細

• 開発者: Jinming Zhao ら
• モデルの種類: Scaling A Simple Approach to Zero-Shot Speech Recognition
• ライセンス: CC-BY-NC 4.0 ライセンス
• パラメータ数: 3億
• 引用方法:

@article{zhao2024scaling,
  title={Scaling A Simple Approach to Zero-Shot Speech Recognition},
  author={Zhao, Jinming and Pratap, Vineel and Auli, Michael},
  journal={arXiv preprint arXiv:2407.17852},
  year={2024}
}

📄 追加リンク

• 論文
• GitHubリポジトリ
• 公式スペース