Gigaam Ctc With Lm

🚀 GigaAM-v2-CTC with ngram LM and beamsearch 🤖 Hugging Face transformers

• このモデルは、外部のngram言語モデルとビームサーチデコーディングを用いたロシア語の自動音声認識モデルです。
• 単語レベルのタイムスタンプを抽出することもできます。

• オリジナルのgit: https://github.com/salute-developers/GigaAM
• ngram言語モデル: bond005/wav2vec2-large-ru-golos-with-lm

🚀 クイックスタート

このモデルは、外部のngram言語モデルとビームサーチデコーディングを用いたロシア語の自動音声認識モデルです。また、単語レベルのタイムスタンプを抽出することもできます。

✨ 主な機能

• transformersライブラリのインターフェースを使用しています。
• ビームサーチデコーディングと外部のngram言語モデルを用いた仮説の再スコアリングが可能です。
• 単語レベルのタイムスタンプを抽出することができます。

📦 インストール

必要なライブラリのバージョン:

• torch 2.5.1
• torchaudio 2.5.1
• transformers 4.49.0

kenlmとpyctcdecodeをインストールする必要があります。

pip install kenlm
pip install pyctcdecode

💻 使用例

基本的な使用法

from transformers import AutoModel, AutoProcessor
import torch
import torchaudio

# load audio
wav, sr = torchaudio.load("audio.wav")
# resample if necessary
wav = torchaudio.functional.resample(wav, sr, 16000)

# load model and processor
processor = AutoProcessor.from_pretrained("waveletdeboshir/gigaam-ctc-with-lm", trust_remote_code=True)
model = AutoModel.from_pretrained("waveletdeboshir/gigaam-ctc-with-lm", trust_remote_code=True)
model.eval()

input_features = processor(wav[0], sampling_rate=16000, return_tensors="pt")

# predict
with torch.no_grad():
    logits = model(**input_features).logits

# decoding with beamseach and LM (tune alpha, beta, beam_width for your data)
transcription = processor.batch_decode(
    logits=logits.numpy(),
    beam_width=64,
    alpha=0.5,
    beta=0.5,
).text[0]

高度な使用法

タイムスタンプ付きでデコードすることができます。このためには、モデルのストライドを知り、パラメータoutput_word_offsets=Trueを設定する必要があります。

このモデル（Conformer）の場合、MODEL_STRIDE = 40ms/タイムスタンプです。

MODEL_STRIDE = 40
outputs = processor.batch_decode(
    logits=logits.numpy(),
    beam_width=64,
    alpha=0.5,
    beta=0.5,
    output_word_offsets=True
)
word_ts = [
    {
        "word": d["word"],
        "start": round(d["start_offset"] * MODEL_STRIDE / 1000, 2),
        "end": round(d["end_offset"] * MODEL_STRIDE / 1000, 2),
    }
    for d in outputs.word_offsets[0]
]

📚 ドキュメント

ファイルgigaam_transformers.pyには、通常のtransformersメソッドを持つモデル、特徴抽出器、トークナイザクラスが含まれています。モデルはtransformersの自動クラスを使用して初期化することができます（下記の例を参照）。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。