Unispeech 1350 En 90 It Ft 1h

🚀 UniSpeech-Large-plus 意大利语版

UniSpeech-Large-plus 意大利语版是一个语音模型，基于 16kHz 采样的语音音频和音素标签进行预训练，随后在 1 小时的意大利语音素数据上进行微调。使用该模型时，需确保输入的语音采样率为 16kHz，且文本已转换为音素序列。

🚀 快速开始

本模型是在音素分类任务上进行微调的语音模型。使用前请确保你的语音输入采样率为 16kHz，文本已转换为音素序列。

✨ 主要特性

• 基于 Microsoft 的 UniSpeech 模型架构。
• 在公共 CommonVoice 语料库上进行跨语言表示学习，表现优于自监督预训练和监督迁移学习。
• 可用于语音识别任务，能有效降低音素错误率和单词错误率。

📦 安装指南

本 README 未提及安装步骤，可参考原模型仓库 https://github.com/microsoft/UniSpeech/tree/main/UniSpeech 进行安装。

💻 使用示例

基础用法

import torch
from datasets import load_dataset
from transformers import AutoModelForCTC, AutoProcessor
import torchaudio.functional as F

model_id = "microsoft/unispeech-1350-en-90-it-ft-1h"

sample = next(iter(load_dataset("common_voice", "it", split="test", streaming=True)))
resampled_audio = F.resample(torch.tensor(sample["audio"]["array"]), 48_000, 16_000).numpy()

model = AutoModelForCTC.from_pretrained(model_id)
processor = AutoProcessor.from_pretrained(model_id)

input_values = processor(resampled_audio, return_tensors="pt").input_values

with torch.no_grad():
    logits = model(input_values).logits

prediction_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(prediction_ids)
# => 'm ɪ a n n o f a tː o ʊ n o f f ɛ r t a k e n o n p o t e v o p r ɔ p r i o r i f j ʊ t a r e'
# for "Mi hanno fatto un\'offerta che non potevo proprio rifiutare."

高级用法

from datasets import load_dataset, load_metric                                                 
import datasets                                                                                
import torch
from transformers import AutoModelForCTC, AutoProcessor

model_id = "microsoft/unispeech-1350-en-90-it-ft-1h"
                                                                                                                                                                                              
ds = load_dataset("mozilla-foundation/common_voice_3_0", "it", split="train+validation+test+other")
wer = load_metric("wer") 

model = AutoModelForCTC.from_pretrained(model_id)
processor = AutoProcessor.from_pretrained(model_id)
                                               
# taken from
# https://github.com/microsoft/UniSpeech/blob/main/UniSpeech/examples/unispeech/data/it/phonesMatches_reduced.json

with open("./testSeqs_uniform_new_version.text", "r") as f:
    lines = f.readlines()

                                                                                               
# retrieve ids model is evaluated on
ids = [x.split("\t")[0] for x in lines]
                                               
                                                                                                                                                                                              
ds = ds.filter(lambda p: p.split("/")[-1].split(".")[0] in ids, input_columns=["path"])                 

ds = ds.cast_column("audio", datasets.Audio(sampling_rate=16_000))
                                                                                               

def decode(batch):
    input_values = processor(batch["audio"]["array"], return_tensors="pt", sampling_rate=16_000)
    logits = model(input_values).logits
                                                                                               
    pred_ids = torch.argmax(logits, axis=-1)                                                   

    batch["prediction"] = processor.batch_decode(pred_ids)
    batch["target"] = processor.tokenizer.phonemize(batch["sentence"])   

    return batch  
                                                                                                                                                                                              
                                               
out = ds.map(decode, remove_columns=ds.column_names)                                           
per = wer.compute(predictions=out["prediction"], references=out["target"])                 

print("per", per)  
# -> should give per 0.06685252146070828 - compare to results below

📚 详细文档

模型信息

论文信息

• 标题：UniSpeech: Unified Speech Representation Learning with Labeled and Unlabeled Data
• 作者：Chengyi Wang, Yu Wu, Yao Qian, Kenichi Kumatani, Shujie Liu, Furu Wei, Michael Zeng, Xuedong Huang
• 摘要：本文提出了一种名为 UniSpeech 的统一预训练方法，用于利用有标签和无标签数据学习语音表示。在多任务学习方式下，进行监督音素 CTC 学习和音素感知对比自监督学习。所得表示能够捕捉与音素结构更相关的信息，并提高跨语言和领域的泛化能力。我们在公共 CommonVoice 语料库上评估了 UniSpeech 用于跨语言表示学习的有效性。结果表明，UniSpeech 在语音识别方面分别比自监督预训练和监督迁移学习最大相对降低了 13.4% 和 17.8% 的音素错误率（所有测试语言的平均值）。在领域转移语音识别任务上，UniSpeech 也展示了其可迁移性，相对于先前方法相对降低了 6% 的单词错误率。

官方结果

查看 UniSpeeech-L^{+} - it 的官方结果：

🔧 技术细节

原模型可在 https://github.com/microsoft/UniSpeech/tree/main/UniSpeech 找到。

📄 许可证

官方许可证可在 https://github.com/microsoft/UniSpeech/blob/main/LICENSE 查看。

贡献者

本模型由 cywang 和 patrickvonplaten 贡献。