W

Wav2vec2 Large Xlsr 53 German Gpt2

jsnflyによって開発
これはMOZILLA-FOUNDATION/COMMON_VOICE_7_0ドイツ語データセットでトレーニングされた自動音声認識エンコーダ-デコーダモデルで、Wav2Vec2とGPT2アーキテクチャの利点を組み合わせています。
ダウンロード数 28
リリース時間 : 3/2/2022

モデル概要

このモデルはドイツ語の自動音声認識タスクに使用され、Wav2Vec2のエンコーダ能力とGPT2のデコーダ能力を組み合わせることで、効率的な音声からテキストへの変換機能を実現します。

モデル特徴

2段階トレーニング
最初にクロスアテンションの重みとデコーダを微調整し、その後エンドツーエンドの微調整を行い、トレーニング効率とモデル性能のバランスを取ります
位置埋め込み最適化
エンコーダ出力に位置埋め込みを追加し、GPT2で事前トレーニングされた位置埋め込みで初期化することで、性能を大幅に向上させます
リソース効率
第1段階のトレーニングは小型GPU(8GB VRAMなど)に適しており、リソースが限られた環境での使用が容易です

モデル能力

ドイツ語音声認識
高精度音声テキスト変換

使用事例

音声文字起こし
ドイツ語音声からテキストへ
ドイツ語の音声コンテンツをテキストに変換
Common Voice 7ドイツ語テストセットで10.02%の単語誤り率(WER)を達成
音声アシスタント
ドイツ語音声コマンド認識
ドイツ語の音声コマンドを認識し理解する
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase