Owls 4B 180K

🚀 OWLS：开放式Whisper风格大规模神经网络模型套件

OWLS是一套Whisper风格的模型，旨在助力研究人员理解语音模型的扩展特性。该套件中的模型参数范围从0.25B到18B不等，并且在多达360K小时的数据上进行训练。这些模型使用ESPnet开发，支持多语言语音识别和翻译。它是OWSM项目的一部分，该项目致力于利用公开可用的数据和开源工具包开发完全开放的语音基础模型。

🚀 快速开始

本仓库中的模型总共有46.6亿个参数，并且在18万小时的公开语音数据上进行训练。具体而言，它支持以下语音转文本任务：

• 语音识别
• 任意语言到任意语言的语音翻译
• 语句级对齐
• 长文本转录
• 语言识别

✨ 主要特性

• 参数范围广：OWLS模型参数从0.25B到18B，可满足不同场景需求。
• 多语言支持：支持多语言语音识别和翻译，应用场景广泛。
• 大规模数据训练：在多达360K小时的数据上训练，模型性能更优。

📦 安装指南

使用此模型前，请确保已安装espnet：

pip install espnet

💻 使用示例

基础用法

你可以在项目中使用以下代码调用该模型：

# make sure espnet is installed: pip install espnet
from espnet2.bin.s2t_inference import Speech2Text

model = Speech2Text.from_pretrained(
  "espnet/owls_4B_180K"
)

speech, rate = soundfile.read("speech.wav")
speech = librosa.resample(speech, orig_sr=rate, target_sr=16000) # make sure 16k sampling rate
text, *_ = model(speech)[0]

📚 详细文档

OWLS模型

📄 许可证

本项目采用CC BY 4.0许可证。

📚 引用

@article{chen2025owls,
  title={OWLS: Scaling Laws for Multilingual Speech Recognition and Translation Models},
  author={Chen, William and Tian, Jinchuan and Peng, Yifan and Yan, Brian and Yang, Chao-Han Huck and Watanabe, Shinji},
  journal={arXiv preprint arXiv:2502.10373},
  year={2025}
}

🔗 相关链接

• 论文