Wav2vec LnNor IPA Ft

🚀 MultiBridge/wav2vec-LnNor-IPA-ft模型卡片

本模型专为音素识别任务而构建。它通过在TIMIT和LnNor数据集上微调wav2vec2基础模型而开发，预测结果采用国际音标（IPA）表示。

🚀 快速开始

使用以下代码开始使用该模型：

from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
from datasets import load_dataset
import torch
 
# load model and processor
processor = Wav2Vec2Processor.from_pretrained("MultiBridge/wav2vec-LnNor-IPA-ft")
model = Wav2Vec2ForCTC.from_pretrained("MultiBridge/wav2vec-LnNor-IPA-ft")
     
# load dummy dataset and read soundfiles
ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", split="validation")
 
# tokenize
input_values = processor(ds[0]["audio"]["array"], return_tensors="pt").input_values
 
# retrieve logits
with torch.no_grad():
    logits = model(input_values).logits
 
# take argmax and decode
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)

# => should give ['mɪstɝkwɪltɝɪzðəəpɑslʌvðəmɪdəlklæsəzændwiɑəɡlædtəwɛlkəmhɪzɡɑspəl'] for MISTER QUILTER IS THE APOSTLE OF THE MIDDLE CLASSES AND WE ARE GLAD TO WELCOME HIS GOSPEL

✨ 主要特性

• 基于Transformer架构，专为音素识别任务设计。
• 微调自facebook/wav2vec2-base模型。
• 支持英语的自动音素转录。

📦 安装指南

文档未提及具体安装步骤，故跳过该章节。

💻 使用示例

基础用法

from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
from datasets import load_dataset
import torch
 
# load model and processor
processor = Wav2Vec2Processor.from_pretrained("MultiBridge/wav2vec-LnNor-IPA-ft")
model = Wav2Vec2ForCTC.from_pretrained("MultiBridge/wav2vec-LnNor-IPA-ft")
     
# load dummy dataset and read soundfiles
ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", split="validation")
 
# tokenize
input_values = processor(ds[0]["audio"]["array"], return_tensors="pt").input_values
 
# retrieve logits
with torch.no_grad():
    logits = model(input_values).logits
 
# take argmax and decode
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)

# => should give ['mɪstɝkwɪltɝɪzðəəpɑslʌvðəmɪdəlklæsəzændwiɑəɡlædtəwɛlkəmhɪzɡɑspəl'] for MISTER QUILTER IS THE APOSTLE OF THE MIDDLE CLASSES AND WE ARE GLAD TO WELCOME HIS GOSPEL

📚 详细文档

模型详情

用途

• 自动语音转录：将原始语音转换为音素序列。
• 语音处理应用：作为语音处理管道或原型的组件。

偏差、风险和局限性

• 数据特异性：通过排除短于2秒或长于30秒的录音，以及少于5个音素的标签，一些自然语音变化被忽略。这可能会影响模型在实际应用中的性能。模型的性能受TIMIT和LnNor数据集特征的影响，这可能导致潜在的偏差，特别是当目标应用涉及这些数据集中未充分代表的说话者或方言时。LnNor包含非母语语音和自动生成的标注，这些标注反映的是规范音素，而非自然语音或非母语发音的真实发音。这可能导致模型无法准确预测非母语语音。
• 冻结编码器：冻结编码器保留了有用的预学习特征，但也阻止了模型完全适应新数据集。

建议

评估模型在您特定用例中的性能。

训练详情

训练数据

• TIMIT：一个广泛用于语音转录的数据集，为语音研究提供了标准基准。
• LnNor：一个多语言数据集，包含挪威语、英语和波兰语的高质量语音记录。该数据集由具有不同语言水平的非母语人士编译而成。LnNor中的音素标注使用WebMAUS工具生成，这意味着它们代表的是规范音素，而非自然语音或非母语发音的真实发音。

训练过程

原始的预训练编码器表示被保留 - 在微调过程中，编码器保持冻结，以最小化训练时间和资源消耗。模型使用CTC损失和AdamW优化器进行训练，没有使用学习率调度器。

预处理

训练数据集经过过滤。短于2秒或长于30秒的录音被移除。任何由少于5个音素组成的标签被丢弃。

训练超参数

• 学习率：1e-5
• 优化器：AdamW
• 批量大小：64
• 权重衰减：0.001
• 训练轮数：40

速度、大小、时间

• 平均每轮训练时间：650秒
• 更新次数：约25k
• 最终训练损失：0.09713
• 最终验证损失：0.2142

评估

测试数据、因素和指标

• 测试数据：模型在TIMIT的测试集上进行评估。
• 指标：CER/PER（音素错误率）

结果

TIMIT测试集上的PER（音素错误率）：0.0416

环境影响

可以使用机器学习影响计算器（来自Lacoste等人（2019））估算碳排放。

• 硬件类型：Nvidia A100 - 80
• 使用时长：[需要更多信息]
• 云服务提供商：波兹南工业大学
• 计算区域：波兰
• 碳排放：[需要更多信息]

技术规格

模型架构和目标

Transformer模型 + CTC损失

计算基础设施

• 硬件：2 x Nvidia A100 - 80
• 软件：python 3.12，transformers 4.50.0，torch 2.6.0

引用

如果您在研究中使用LnNor数据集，请引用以下论文：

@article{magdalena2024lnnor,
  title={The LnNor Corpus: A spoken multilingual corpus of non-native and native Norwegian, English and Polish (Part 1)},
  author={Magdalena, Wrembel and Hwaszcz, Krzysztof and Agnieszka, Pludra and Ska{\l}ba, Anna and Weckwerth, Jaros{\l}aw and Walczak, Angelika and Sypia{\'n}ska, Jolanta and {\.Z}ychli{\'n}ski, Sylwiusz and Malarski, Kamil and K{\k{e}}dzierska, Hanna and others},
  year={2024},
  publisher={Adam Mickiewicz University}
}

@article{wrembel2024lnnor,
  title={The LnNor Corpus: A spoken multilingual corpus of non-native and native Norwegian, English and Polish--Part 2},
  author={Wrembel, Magdalena and Hwaszcz, Krzysztof and Pludra, Agnieszka and Ska{\l}ba, Anna and Weckwerth, Jaros{\l}aw and Malarski, Kamil and Cal, Zuzanna Ewa and K{\k{e}}dzierska, Hanna and Czarnecki-Verner, Tristan and Balas, Anna and others},
  year={2024},
  publisher={Adam Mickiewicz University}
}

模型卡片作者

• Agnieszka Pludra
• Izabela Krysińska
• Piotr Kabaciński

模型卡片联系方式

• agnieszka.pludra@pearson.com
• izabela.krysinska@pearson.com
• piotr.kabacinski@pearson.com

📄 许可证

本模型使用cc-by-4.0许可证。