Mhubert Base 25hz

🚀 mhubert-base-25hz

このモデルは、MetaによるHubertのバージョンです。このバージョンはTWISTで導入され、SpeechLMのトレーニング用の音声トークナイザーとして多くの価値を示しました。

これらのモデルの重みは、SLP - RLによって、元のTextlesslibリリースから変換されました。

🚀 クイックスタート

このモデルを使用するには、新しいバージョンのtransformers（transformers>=4.48）が必要です。まずはそれをインストールしてください。その後、以下のように使用できます。

from transformers import HubertModel
model = HubertModel.from_pretrained('slprl/mhubert-base-25hz')

✨ 主な機能

このHubertモデルは、音声トークナイザーとして、音声言語モデリングや話しスタイル変換などの用途に役立ちます。

📚 ドキュメント

モデルの詳細

このHubertモデルはTWISTで導入されました。詳細については、この論文を参照することをおすすめします。

このモデルは、多様なデータセット（Multilingual LS、Vox Populi、Common Voice、Spotify、Fisher）を使用してトレーニングされました。このHubertベースモデルは、デフォルトの50Hzの特徴量レートで3回の反復トレーニングを行いました。4回目の反復では、CNNエンコーダーにストライド2の追加の畳み込み層を追加し、25Hzの特徴量を得ました。

私たちは、サポートを追加した後、変換スクリプトを使用して、元のFairseqリリースをHuggingface🤗形式に変換し、結果が同一であることを確認しました。

• 開発者: Hassid et. al
• 共有者: SLP - RL
• モデルタイプ: transformers.HubertModel
• 言語: 多言語
• ライセンス: MIT、詳細はtextlesslibのライセンスを参照してください

モデルのソース

• リポジトリ: https://github.com/facebookresearch/textlesslib/tree/main/examples/twist
• 論文: https://arxiv.org/abs/2305.13009

📄 ライセンス

このモデルはMITライセンスの下で提供されています。詳細については、textlesslibのライセンスを参照してください。

引用

@article{hassid2024textually,
  title={Textually pretrained speech language models},
  author={Hassid, Michael and Remez, Tal and Nguyen, Tu Anh and Gat, Itai and Conneau, Alexis and Kreuk, Felix and Copet, Jade and Defossez, Alexandre and Synnaeve, Gabriel and Dupoux, Emmanuel and others},
  journal={Advances in Neural Information Processing Systems},
  volume={36},
  year={2024}
}

モデルカードの作成者

Gallil Maimon