Gigaam Ctc With Lm

🚀 GigaAM-v2-CTC 搭配 ngram 語言模型和波束搜索 —— Hugging Face Transformers

本項目是一個用於自動語音識別的模型，藉助外部 ngram 語言模型和波束搜索解碼技術，實現了俄語語音的準確識別，還能提取詞級時間戳。

• 原始代碼倉庫：https://github.com/salute-developers/GigaAM
• ngram 語言模型來源：bond005/wav2vec2-large-ru-golos-with-lm

🚀 快速開始

本項目的 GigaAM-v2-CTC 模型結合了 transformers 庫接口、波束搜索解碼和外部 ngram 語言模型的假設重評分功能，還可用於提取詞級時間戳。

文件 gigaam_transformers.py 包含了具有常見 transformers 方法的模型、特徵提取器和分詞器類。可以使用 transformers 自動類來初始化模型（見下面的示例）。

📦 安裝指南

我的庫版本如下：

• torch 2.5.1
• torchaudio 2.5.1
• transformers 4.49.0

你需要安裝 kenlm 和 pyctcdecode：

pip install kenlm
pip install pyctcdecode

💻 使用示例

基礎用法

使用方法與其他 transformers 自動語音識別模型相同。

from transformers import AutoModel, AutoProcessor
import torch
import torchaudio

# 加載音頻
wav, sr = torchaudio.load("audio.wav")
# 必要時進行重採樣
wav = torchaudio.functional.resample(wav, sr, 16000)

# 加載模型和處理器
processor = AutoProcessor.from_pretrained("waveletdeboshir/gigaam-ctc-with-lm", trust_remote_code=True)
model = AutoModel.from_pretrained("waveletdeboshir/gigaam-ctc-with-lm", trust_remote_code=True)
model.eval()

input_features = processor(wav[0], sampling_rate=16000, return_tensors="pt")

# 預測
with torch.no_grad():
    logits = model(**input_features).logits

# 使用波束搜索和語言模型進行解碼（根據你的數據調整 alpha、beta 和波束寬度）
transcription = processor.batch_decode(
    logits=logits.numpy(),
    beam_width=64,
    alpha=0.5,
    beta=0.5,
).text[0]

高級用法

帶時間戳的解碼

我們可以使用解碼器提取詞級時間戳。為此，我們需要知道模型步長並設置參數 output_word_offsets=True。

在我們的例子（Conformer）中，MODEL_STRIDE = 40 毫秒/時間戳。

MODEL_STRIDE = 40
outputs = processor.batch_decode(
    logits=logits.numpy(),
    beam_width=64,
    alpha=0.5,
    beta=0.5,
    output_word_offsets=True
)
word_ts = [
    {
        "word": d["word"],
        "start": round(d["start_offset"] * MODEL_STRIDE / 1000, 2),
        "end": round(d["end_offset"] * MODEL_STRIDE / 1000, 2),
    }
    for d in outputs.word_offsets[0]
]

📄 許可證

本項目採用 MIT 許可證。