Unispeech 1350 En 90 It Ft 1h

🚀 UniSpeech-Large-plus 意大利語版

UniSpeech-Large-plus 意大利語版是一個語音模型，基於 16kHz 採樣的語音音頻和音素標籤進行預訓練，隨後在 1 小時的意大利語音素數據上進行微調。使用該模型時，需確保輸入的語音採樣率為 16kHz，且文本已轉換為音素序列。

🚀 快速開始

本模型是在音素分類任務上進行微調的語音模型。使用前請確保你的語音輸入採樣率為 16kHz，文本已轉換為音素序列。

✨ 主要特性

• 基於 Microsoft 的 UniSpeech 模型架構。
• 在公共 CommonVoice 語料庫上進行跨語言表示學習，表現優於自監督預訓練和監督遷移學習。
• 可用於語音識別任務，能有效降低音素錯誤率和單詞錯誤率。

📦 安裝指南

本 README 未提及安裝步驟，可參考原模型倉庫 https://github.com/microsoft/UniSpeech/tree/main/UniSpeech 進行安裝。

💻 使用示例

基礎用法

import torch
from datasets import load_dataset
from transformers import AutoModelForCTC, AutoProcessor
import torchaudio.functional as F

model_id = "microsoft/unispeech-1350-en-90-it-ft-1h"

sample = next(iter(load_dataset("common_voice", "it", split="test", streaming=True)))
resampled_audio = F.resample(torch.tensor(sample["audio"]["array"]), 48_000, 16_000).numpy()

model = AutoModelForCTC.from_pretrained(model_id)
processor = AutoProcessor.from_pretrained(model_id)

input_values = processor(resampled_audio, return_tensors="pt").input_values

with torch.no_grad():
    logits = model(input_values).logits

prediction_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(prediction_ids)
# => 'm ɪ a n n o f a tː o ʊ n o f f ɛ r t a k e n o n p o t e v o p r ɔ p r i o r i f j ʊ t a r e'
# for "Mi hanno fatto un\'offerta che non potevo proprio rifiutare."

高級用法

from datasets import load_dataset, load_metric                                                 
import datasets                                                                                
import torch
from transformers import AutoModelForCTC, AutoProcessor

model_id = "microsoft/unispeech-1350-en-90-it-ft-1h"
                                                                                                                                                                                              
ds = load_dataset("mozilla-foundation/common_voice_3_0", "it", split="train+validation+test+other")
wer = load_metric("wer") 

model = AutoModelForCTC.from_pretrained(model_id)
processor = AutoProcessor.from_pretrained(model_id)
                                               
# taken from
# https://github.com/microsoft/UniSpeech/blob/main/UniSpeech/examples/unispeech/data/it/phonesMatches_reduced.json

with open("./testSeqs_uniform_new_version.text", "r") as f:
    lines = f.readlines()

                                                                                               
# retrieve ids model is evaluated on
ids = [x.split("\t")[0] for x in lines]
                                               
                                                                                                                                                                                              
ds = ds.filter(lambda p: p.split("/")[-1].split(".")[0] in ids, input_columns=["path"])                 

ds = ds.cast_column("audio", datasets.Audio(sampling_rate=16_000))
                                                                                               

def decode(batch):
    input_values = processor(batch["audio"]["array"], return_tensors="pt", sampling_rate=16_000)
    logits = model(input_values).logits
                                                                                               
    pred_ids = torch.argmax(logits, axis=-1)                                                   

    batch["prediction"] = processor.batch_decode(pred_ids)
    batch["target"] = processor.tokenizer.phonemize(batch["sentence"])   

    return batch  
                                                                                                                                                                                              
                                               
out = ds.map(decode, remove_columns=ds.column_names)                                           
per = wer.compute(predictions=out["prediction"], references=out["target"])                 

print("per", per)  
# -> should give per 0.06685252146070828 - compare to results below

📚 詳細文檔

模型信息

論文信息

• 標題：UniSpeech: Unified Speech Representation Learning with Labeled and Unlabeled Data
• 作者：Chengyi Wang, Yu Wu, Yao Qian, Kenichi Kumatani, Shujie Liu, Furu Wei, Michael Zeng, Xuedong Huang
• 摘要：本文提出了一種名為 UniSpeech 的統一預訓練方法，用於利用有標籤和無標籤數據學習語音表示。在多任務學習方式下，進行監督音素 CTC 學習和音素感知對比自監督學習。所得表示能夠捕捉與音素結構更相關的信息，並提高跨語言和領域的泛化能力。我們在公共 CommonVoice 語料庫上評估了 UniSpeech 用於跨語言表示學習的有效性。結果表明，UniSpeech 在語音識別方面分別比自監督預訓練和監督遷移學習最大相對降低了 13.4% 和 17.8% 的音素錯誤率（所有測試語言的平均值）。在領域轉移語音識別任務上，UniSpeech 也展示了其可遷移性，相對於先前方法相對降低了 6% 的單詞錯誤率。

官方結果

查看 UniSpeeech-L^{+} - it 的官方結果：

🔧 技術細節

原模型可在 https://github.com/microsoft/UniSpeech/tree/main/UniSpeech 找到。

📄 許可證

官方許可證可在 https://github.com/microsoft/UniSpeech/blob/main/LICENSE 查看。

貢獻者

本模型由 cywang 和 patrickvonplaten 貢獻。