Wav2vec2 FR 7K Base

🚀 LeBenchmark：基于7000小时法语语音训练的wav2vec2基础模型

LeBenchmark提供了一组在不同法语数据集上预训练的wav2vec2模型，这些数据集包含自发、朗读和广播语音。它有两个版本，其中，后期版本（LeBenchmark 2.0）在预训练自监督学习（SSL）模型的数量和下游任务的数量方面都是第一个版本的扩展。 有关可用于评估wav2vec2模型的不同基准测试的更多信息，请参考我们的论文：LeBenchmark 2.0：一个标准化、可复制且增强的法语语音自监督表示框架

🚀 快速开始

本项目提供了一系列预训练的wav2vec2模型，可用于语音相关任务。你可以根据自己的需求选择合适的模型进行使用。

✨ 主要特性

• 提供多种不同架构（Light、Base、Large 和 xLarge）和不同训练数据规模（1K、3K、7K、14K）的wav2vec2模型。
• 模型在不同类型的法语语音数据（自发、朗读和广播语音）上进行训练。
• 模型遵循Apache - 2.0许可证，可广泛重用。

📦 安装指南

文档中未提及具体安装步骤，故跳过该章节。

💻 使用示例

文档中未提供代码示例，故跳过该章节。

📚 详细文档

模型和数据描述

我们发布了四个不同的模型，可在我们的HuggingFace组织下找到。四种不同的wav2vec2架构 Light、Base、Large 和 xLarge 与我们的小（1K）、中（3K）、大（7K）和超大（14K）语料库相结合。简而言之：

Lebenchmark 2.0

• [wav2vec2 - FR - 14K - xlarge](https://huggingface.co/LeBenchmark/wav2vec2 - FR - 14K - xlarge)：在14000小时法语语音（5400名男性 / 2400名女性 / 6800名未知）上训练的xLarge wav2vec2模型。
• [wav2vec2 - FR - 14K - large](https://huggingface.co/LeBenchmark/wav2vec2 - FR - 14K - large)：在14000小时法语语音（5400名男性 / 2400名女性 / 6800名未知）上训练的Large wav2vec2模型。
• [wav2vec2 - FR - 14K - light](https://huggingface.co/LeBenchmark/wav2vec2 - FR - 14K - light)：在14000小时法语语音（5400名男性 / 2400名女性 / 6800名未知）上训练的Light wav2vec2模型。

Lebenchmark

• [wav2vec2 - FR - 7K - large](https://huggingface.co/LeBenchmark/wav2vec2 - FR - 7K - large)：在7600小时法语语音（1800名男性 / 1000名女性 / 4800名未知）上训练的Large wav2vec2模型。
• [wav2vec2 - FR - 7K - base](https://huggingface.co/LeBenchmark/wav2vec2 - FR - 7K - base)：在7600小时法语语音（1800名男性 / 1000名女性 / 4800名未知）上训练的Base wav2vec2模型。
• [wav2vec2 - FR - 3K - large](https://huggingface.co/LeBenchmark/wav2vec2 - FR - 3K - large)：在2900小时法语语音（1800名男性 / 1000名女性 / 100名未知）上训练的Large wav2vec2模型。
• [wav2vec2 - FR - 3K - base](https://huggingface.co/LeBenchmark/wav2vec2 - FR - 3K - base)：在2900小时法语语音（1800名男性 / 1000名女性 / 100名未知）上训练的Base wav2vec2模型。
• [wav2vec2 - FR - 2.6K - base](https://huggingface.co/LeBenchmark/wav2vec2 - FR - 2.6K - base)：在2600小时法语语音（无自发语音）上训练的Base wav2vec2模型。
• [wav2vec2 - FR - 1K - large](https://huggingface.co/LeBenchmark/wav2vec2 - FR - 1K - large)：在1000小时法语语音（500名男性 / 500名女性）上训练的Large wav2vec2模型。
• [wav2vec2 - FR - 1K - base](https://huggingface.co/LeBenchmark/wav2vec2 - FR - 1K - base)：在1000小时法语语音（500名男性 / 500名女性）上训练的Base wav2vec2模型。

预期用途和限制

预训练的wav2vec2模型遵循Apache - 2.0许可证进行分发。因此，它们可以广泛重用，没有严格的限制。然而，基准测试和数据可能与未完全开源的语料库相关联。

使用Fairseq进行基于CTC的ASR微调

由于我们的wav2vec2模型是使用Fairseq训练的，因此可以使用他们提供的不同工具对模型进行基于CTC的自动语音识别（ASR）微调。完整的过程已在[这篇博客文章](https://huggingface.co/blog/fine - tune - wav2vec2 - english)中进行了很好的总结。

⚠️ 重要提示

由于CTC的性质，语音转文本的结果预计不会达到最先进的水平。此外，未来的功能可能会根据Fairseq和HuggingFace在这方面的参与情况而出现。

集成到SpeechBrain进行ASR、说话人识别、源分离等

预训练的wav2vec模型最近越来越受欢迎。与此同时，SpeechBrain工具包问世，它提出了一种处理最先进的语音和深度学习技术的新的、更简单的方法。

虽然目前它还处于测试阶段，但SpeechBrain提供了两种很好的方法来集成使用Fairseq训练的wav2vec2模型，即我们的LeBenchmark模型！

1. 实时提取wav2vec2特征（使用冻结的wav2vec2编码器），以便与任何语音相关架构相结合。例如：基于CTC + 注意力 + 语言模型的端到端ASR；说话人识别或验证、源分离等。
2. 实验性：为了充分利用wav2vec2，最佳解决方案仍然是在训练下游任务时对模型进行微调。在SpeechBrain中，只需打开一个标志即可轻松实现。因此，我们的wav2vec2模型可以在训练你喜欢的ASR管道或说话人识别器时进行微调。

💡 使用建议

如果感兴趣，只需遵循这个教程

🔧 技术细节

文档中未提供具体的技术实现细节，故跳过该章节。

📄 许可证

预训练的wav2vec2模型遵循Apache - 2.0许可证进行分发。

引用LeBenchmark

@misc{parcollet2023lebenchmark,
      title={LeBenchmark 2.0: a Standardized, Replicable and Enhanced Framework for Self-supervised Representations of French Speech}, 
      author={Titouan Parcollet and Ha Nguyen and Solene Evain and Marcely Zanon Boito and Adrien Pupier and Salima Mdhaffar and Hang Le and Sina Alisamir and Natalia Tomashenko and Marco Dinarelli and Shucong Zhang and Alexandre Allauzen and Maximin Coavoux and Yannick Esteve and Mickael Rouvier and Jerome Goulian and Benjamin Lecouteux and Francois Portet and Solange Rossato and Fabien Ringeval and Didier Schwab and Laurent Besacier},
      year={2023},
      eprint={2309.05472},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}