Wav2vec2 Russian

🚀 wav2vec2-russian

このモデルは音声認識のためのものです。モデルの結果は、別のテキスト修正ネットワークであるUrukHan/t5-russian-spellを通してさらに修正することができます。

🚀 クイックスタート

音声認識を行うには、wav形式の音声ファイルをアップロードします。結果は、別のネットワークで誤りを修正し、句読点を配置し、数字を修正することができます。UrukHan/t5-russian-spell

ネットワークの起動

コードの例はこちらのColabで確認できます。

from transformers import AutoModelForCTC, Wav2Vec2Processor
model = AutoModelForCTC.from_pretrained("UrukHan/wav2vec2-russian")
processor = Wav2Vec2Processor.from_pretrained("UrukHan/wav2vec2-russian")
def map_to_result(batch):
  with torch.no_grad():
    input_values = torch.tensor(batch["input_values"]).unsqueeze(0) #, device="cuda"
    logits = model(input_values).logits
  pred_ids = torch.argmax(logits, dim=-1)
  batch = processor.batch_decode(pred_ids)[0]
  return batch
 
map_to_result()

モデルのトレーニング

データの処理とデータセットの作成を含むモデルのトレーニングについては、こちらのColabで確認できます。

💻 使用例

基本的な使用法

from transformers import AutoModelForCTC, Wav2Vec2Processor
model = AutoModelForCTC.from_pretrained("UrukHan/wav2vec2-russian")
processor = Wav2Vec2Processor.from_pretrained("UrukHan/wav2vec2-russian")
def map_to_result(batch):
  with torch.no_grad():
    input_values = torch.tensor(batch["input_values"]).unsqueeze(0) #, device="cuda"
    logits = model(input_values).logits
  pred_ids = torch.argmax(logits, dim=-1)
  batch = processor.batch_decode(pred_ids)[0]
  return batch
 
map_to_result()

📚 詳細ドキュメント

このモデルの出力例を以下に示します。