Data2vec Audio Base

🚀 数据2向量音频基础模型（Data2Vec-Audio-Base）

本模型是基于16kHz采样语音音频进行预训练的基础模型。它源自Facebook的Data2Vec框架，为语音、自然语言处理和计算机视觉提供了统一的自监督学习方法。使用该模型时，请确保输入的语音也以16kHz采样。

🚀 快速开始

本模型是在16kHz采样的语音音频上进行预训练的基础模型。使用模型时，请确保您的语音输入也是以16kHz采样的。

注意：此模型没有分词器，因为它仅在音频上进行了预训练。为了将此模型用于语音识别，需要创建一个分词器，并在带标签的文本数据上对模型进行微调。有关如何微调模型的详细解释，请查看此博客。

✨ 主要特性

• 跨模态统一学习：该模型基于Facebook的Data2Vec框架，使用相同的学习方法处理语音、自然语言处理和计算机视觉任务。
• 预测上下文潜在表示：与预测特定模态的目标（如单词、视觉标记或人类语音单元）不同，Data2Vec预测包含整个输入信息的上下文潜在表示。
• 优异性能：在语音识别、图像分类和自然语言理解的主要基准测试中，该模型展现出了新的技术水平或与主流方法相当的性能。

📚 详细文档

论文信息

• 论文链接：https://arxiv.org/abs/2202.03555
• 作者：Alexei Baevski, Wei-Ning Hsu, Qiantong Xu, Arun Babu, Jiatao Gu, Michael Auli
• 摘要：虽然自监督学习的总体思想在不同模态之间是相同的，但实际的算法和目标却有很大差异，因为它们是针对单一模态开发的。为了更接近通用的自监督学习，我们提出了Data2Vec框架，该框架对语音、自然语言处理或计算机视觉使用相同的学习方法。核心思想是在使用标准Transformer架构的自蒸馏设置中，基于输入的掩码视图预测完整输入数据的潜在表示。与预测本质上是局部的特定模态目标（如单词、视觉标记或人类语音单元）不同，Data2Vec预测包含整个输入信息的上下文潜在表示。在语音识别、图像分类和自然语言理解的主要基准测试上的实验表明，该方法达到了新的技术水平或与主流方法具有竞争力。

预训练方法

更多信息，请查看官方论文。

使用说明

有关如何微调模型的更多信息，请参阅此笔记本。

📄 许可证

本模型使用Apache-2.0许可证。

🔍 相关信息