Owls 4B 180K

🚀 OWLS: Open Whisper-style Large-scale neural model Suite

OWLSは、音声モデルのスケーリング特性を研究するために設計された、Whisperスタイルのモデル群です。OWLSモデルのパラメータ数は0.25Bから18Bまでで、最大360K時間のデータで学習されています。

OWLSモデルはESPnetを使用して開発されており、多言語の音声認識と翻訳をサポートしています。

このモデルはOWSMプロジェクトの一部で、公開データとオープンソースツールキットを使用して完全にオープンな音声基礎モデルを開発することを目的としています。

論文

🚀 クイックスタート

このリポジトリ内のモデルは合計46.6億個のパラメータを持ち、18万時間の公開音声データで学習されています。具体的には、以下の音声テキスト変換タスクをサポートしています。

• 音声認識
• 任意言語間の音声翻訳
• 発話レベルのアラインメント
• 長文の文字起こし
• 言語識別

✨ 主な機能

OWLSモデルは、音声モデルのスケーリング特性を研究するために設計されています。パラメータ数が0.25Bから18Bまでのモデルがあり、最大360K時間のデータで学習されています。また、多言語の音声認識と翻訳をサポートしています。

📦 インストール

このモデルを使用するには、espnetをインストールする必要があります。以下のコマンドを使用してインストールできます。

pip install espnet

💻 使用例

基本的な使用法

# make sure espnet is installed: pip install espnet
from espnet2.bin.s2t_inference import Speech2Text

model = Speech2Text.from_pretrained(
  "espnet/owls_4B_180K"
)

speech, rate = soundfile.read("speech.wav")
speech = librosa.resample(speech, orig_sr=rate, target_sr=16000) # make sure 16k sampling rate
text, *_ = model(speech)[0]

📚 ドキュメント

OWLSモデル一覧

引用

@article{chen2025owls,
  title={OWLS: Scaling Laws for Multilingual Speech Recognition and Translation Models},
  author={Chen, William and Tian, Jinchuan and Peng, Yifan and Yan, Brian and Yang, Chao-Han Huck and Watanabe, Shinji},
  journal={arXiv preprint arXiv:2502.10373},
  year={2025}
}

📄 ライセンス

このモデルはCC BY 4.0ライセンスの下で公開されています。