Mhubert Base 25hz

🚀 mhubert-base-25hz模型卡片

这是Meta公司Hubert模型的一个版本。该版本在TWIST中被提出，作为训练语音语言模型（SpeechLMs）的语音分词器，展现出了巨大的价值。

这些模型权重由SLP - RL从原始的Textlesslib版本转换而来。

🚀 快速开始

此模型需要transformers库的新版本 - transformers>=4.48，请确保你已安装该版本。安装完成后，可按以下方式使用：

from transformers import HubertModel
model = HubertModel.from_pretrained('slprl/mhubert-base-25hz')

✨ 主要特性

该Hubert模型可作为特征提取器用于语音分词，适用于口语语言建模或说话风格转换等场景。

📚 详细文档

模型描述

此Hubert模型在TWIST中被提出，我们建议你查阅该论文以获取完整详情。

它在多种数据集的混合数据上进行训练，这些数据集包括：多语言LS、Vox Populi、Common Voice、Spotify和Fisher。这个Hubert基础模型以默认的50Hz特征速率训练了3轮。在第4轮训练时，在CNN编码器中添加了一个步长为2的额外卷积层，从而得到25Hz的特征。

我们使用转换脚本将原始的Fairseq版本转换为Huggingface🤗版本。在添加支持之后，我们验证了转换结果是相同的。

模型来源

• 仓库地址：https://github.com/facebookresearch/textlesslib/tree/main/examples/twist
• 论文地址：https://arxiv.org/abs/2305.13009

📄 许可证

本模型采用MIT许可证，完整详情请见textlesslib许可证。

🔖 引用信息

BibTeX：

@article{hassid2024textually,
  title={Textually pretrained speech language models},
  author={Hassid, Michael and Remez, Tal and Nguyen, Tu Anh and Gat, Itai and Conneau, Alexis and Kreuk, Felix and Copet, Jade and Defossez, Alexandre and Synnaeve, Gabriel and Dupoux, Emmanuel and others},
  journal={Advances in Neural Information Processing Systems},
  volume={36},
  year={2024}
}

👨‍💻 模型卡片作者

Gallil Maimon