Visual Novel Transcriptor

🚀 モデルIDのモデルカード

このモデルは、日本語の音声、特にビジュアルノベルの音声を文字起こしすることを目的とした自動音声認識（ASR）モデルです。distil-whisper/distil-large-v2 をファインチューニングして作成されています。

🚀 クイックスタート

このモデルを使用するには、以下のコードを参考にしてください。

from transformers import AutoProcessor, AutoModelForSpeechSeq2Seq
import librosa

processor = AutoProcessor.from_pretrained('spow12/Visual-novel-transcriptor', language="ja", task="transcribe")
model = AutoModelForSpeechSeq2Seq.from_pretrained('spow12/Visual-novel-transcriptor').cuda()
model.config.forced_decoder_ids = processor.get_decoder_prompt_ids(language="ja", task="transcribe")

data, _ = librosa.load(wav_path, sr=16000)
input_features = processor(data, sampling_rate=16000, return_tensors="pt").input_features.cuda()
predicted_ids = model.generate(input_features)
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)
print(transcription[0])

✨ 主な機能

• 日本語の音声、特にビジュアルノベルの音声を高精度に文字起こしします。
• 関連する他のモデル（TTS、Chat、ASR）とのコレクションが用意されています。
• 統一されたデモアプリ WaifuAssitant が利用可能です。

📚 ドキュメント

モデルの詳細

モデルの説明

これは🤗 transformersモデルのモデルカードで、自動生成されています。

• 開発者: spow12(yw_nam)
• 共有者: spow12(yw_nam)
• モデルの種類: Seq2Seq
• 言語: 日本語
• ファインチューニング元のモデル: distil-whisper/distil-large-v2

WaifuModelコレクション

• TTS
• Chat
• ASR

統一デモ

WaifuAssitant

🔧 技術詳細

このモデルは、distil-whisper/distil-large-v2 をベースに、日本語の音声データを用いてファインチューニングされています。特に、ビジュアルノベルの音声を対象として最適化されています。

📄 ライセンス

このモデルは現在、非商用利用のみに許可されています。また、ライセンスに関する詳細は未確定であるため、責任を持って利用していただきたいと思います。

引用

@misc {Visual-novel-transcriptor,
    author       = { YoungWoo Nam },
    title        = { Visual-novel-transcriptor },
    year         = 2024,
    url          = { https://huggingface.co/spow12/Visual-novel-transcriptor },
    publisher    = { Hugging Face }
}

⚠️ 重要提示

このモデルは、ビジュアルノベルの音声データを含む日本語のデータセットで学習されており、その中にはNSFWコンテンツが含まれている可能性があります。

💡 使用建议

このモデルを使用する際には、非商用目的での利用に限定し、責任を持って使用してください。