Wav2vec En Finetuned On Cryptocurrency

🚀 distractedm1nd/wav2vec-en-finetuned-on-cryptocurrency

このモデルは、自動音声認識（ASR）を目的としたオーディオモデルです。Facebookのfacebook/wav2vec2-large-960hを、暗号通貨関連のポッドキャストの音声データでファインチューニングしています。

🚀 クイックスタート

このモデルは、facebook/wav2vec2-large-960hを、様々な暗号通貨関連のポッドキャストから抽出した約1400個の音声クリップ（それぞれ約10 - 15秒）を使用してファインチューニングしたものです。データのラベリングには、YouTubeから字幕付きの暗号通貨ポッドキャストをダウンロードし、文章ごとにクリップを分割しました。その後、YouTubeの文字起こしとfacebook/wav2vec2-large-960hの出力を比較して、YouTubeの文字起こしに含まれる多くの誤りを修正しました。もっとデータをクリーンアップすることで、さらに良い結果が得られる可能性があります。

当社のデータでは、WER（Word Error Rate）が13.1％に達しました。一方、facebook/wav2vec2-large-960hは当社のデータでは27％のWERしか達成できませんでした。

💻 使用例

基本的な使用法

from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
from datasets import load_dataset
import soundfile as sf
import torch


# load model and tokenizer
processor = Wav2Vec2Processor.from_pretrained("distractedm1nd/wav2vec-en-finetuned-on-cryptocurrency")
model = Wav2Vec2ForCTC.from_pretrained("distractedm1nd/wav2vec-en-finetuned-on-cryptocurrency")

filename = "INSERT_FILENAME"
audio, sampling_rate = sf.read(filename)

input_values = processor(audio, return_tensors="pt", padding="longest", sampling_rate=sampling_rate).input_values  # Batch size 1


# retrieve logits
logits = model(input_values).logits

# take argmax and decode
predicted_ids = torch.argmax(logits, dim=-1)
tokenizer.batch_decode(predicted_ids)

📄 ライセンス

このモデルはMITライセンスの下で提供されています。