Owls 4B 180K

🚀 OWLS：開放式Whisper風格大規模神經網絡模型套件

OWLS是一套Whisper風格的模型，旨在助力研究人員理解語音模型的擴展特性。該套件中的模型參數範圍從0.25B到18B不等，並且在多達360K小時的數據上進行訓練。這些模型使用ESPnet開發，支持多語言語音識別和翻譯。它是OWSM項目的一部分，該項目致力於利用公開可用的數據和開源工具包開發完全開放的語音基礎模型。

🚀 快速開始

本倉庫中的模型總共有46.6億個參數，並且在18萬小時的公開語音數據上進行訓練。具體而言，它支持以下語音轉文本任務：

• 語音識別
• 任意語言到任意語言的語音翻譯
• 語句級對齊
• 長文本轉錄
• 語言識別

✨ 主要特性

• 參數範圍廣：OWLS模型參數從0.25B到18B，可滿足不同場景需求。
• 多語言支持：支持多語言語音識別和翻譯，應用場景廣泛。
• 大規模數據訓練：在多達360K小時的數據上訓練，模型性能更優。

📦 安裝指南

使用此模型前，請確保已安裝espnet：

pip install espnet

💻 使用示例

基礎用法

你可以在項目中使用以下代碼調用該模型：

# make sure espnet is installed: pip install espnet
from espnet2.bin.s2t_inference import Speech2Text

model = Speech2Text.from_pretrained(
  "espnet/owls_4B_180K"
)

speech, rate = soundfile.read("speech.wav")
speech = librosa.resample(speech, orig_sr=rate, target_sr=16000) # make sure 16k sampling rate
text, *_ = model(speech)[0]

📚 詳細文檔

OWLS模型

📄 許可證

本項目採用CC BY 4.0許可證。

📚 引用

@article{chen2025owls,
  title={OWLS: Scaling Laws for Multilingual Speech Recognition and Translation Models},
  author={Chen, William and Tian, Jinchuan and Peng, Yifan and Yan, Brian and Yang, Chao-Han Huck and Watanabe, Shinji},
  journal={arXiv preprint arXiv:2502.10373},
  year={2025}
}

🔗 相關鏈接

• 論文