Visual Novel Transcriptor

🚀 視覺小說轉錄器模型

這是一個經過微調的自動語音識別（ASR）模型，專門用於轉錄日語音頻，尤其適用於視覺小說領域。它基於distil-whisper/distil-large-v2模型進行微調，為相關領域的音頻轉錄提供了高效準確的解決方案。

🚀 快速開始

模型使用示例

from transformers import AutoProcessor, AutoModelForSpeechSeq2Seq
import librosa

processor = AutoProcessor.from_pretrained('spow12/Visual-novel-transcriptor', language="ja", task="transcribe")
model = AutoModelForSpeechSeq2Seq.from_pretrained('spow12/Visual-novel-transcriptor').cuda()
model.config.forced_decoder_ids = processor.get_decoder_prompt_ids(language="ja", task="transcribe")

data, _ = librosa.load(wav_path, sr=16000)
input_features = processor(data, sampling_rate=16000, return_tensors="pt").input_features.cuda()
predicted_ids = model.generate(input_features)
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)
print(transcription[0])

✨ 主要特性

• 針對性微調：針對日語音頻尤其是視覺小說音頻進行了微調，提高了轉錄的準確性。
• 多語言支持：支持日語和英語。
• 多模型集合：與TTS、Chat等模型共同構成WaifuModel集合，提供更全面的功能。

📚 詳細文檔

模型詳情

模型描述

這是一個🤗 Transformers模型的模型卡片，已被推送到Hugging Face Hub，此模型卡片是自動生成的。

模型相關鏈接

WaifuModel集合

• TTS
• Chat
• ASR

統一演示

WaifuAssitant

模型使用與版權

此模型目前僅可用於非商業用途。由於開發者對許可細節瞭解有限，希望使用者能負責任地使用該模型。開發者分享此模型，旨在為開源社區和動漫愛好者的研究工作做出貢獻。

引用信息

@misc {Visual-novel-transcriptor,
    author       = { YoungWoo Nam },
    title        = { Visual-novel-transcriptor },
    year         = 2024,
    url          = { https://huggingface.co/spow12/Visual-novel-transcriptor },
    publisher    = { Hugging Face }
}

🔧 技術細節

數據集

• reazon-research/reazonspeech
• joujiboi/japanese-anime-speech

評估指標

• 字符錯誤率（CER）

管道標籤

自動語音識別（Automatic Speech Recognition）

⚠️ 重要提示

此模型使用包含視覺小說的日語數據集進行訓練，其中可能包含不適宜內容。