AIbase
JA
ホーム
Wavlm Bert Fusion S Emotion Russian Resd
W

Wavlm Bert Fusion S Emotion Russian Resd

Aniemoreによって開発
WavLMとBERTを基にしたマルチモーダル融合モデルで、音声とテキストの共同タスク処理に適しています。
音声認識
Transformers
#音声テキスト融合#マルチモーダル処理#残差接続最適化
ダウンロード数 298
リリース時間 : 5/2/2023

モデル概要

このモデルはWavLMの音声処理能力とBERTのテキスト理解能力を組み合わせ、特定の融合戦略（k=2, s, resd=1）によりクロスモーダル情報の相互作用を実現します。

モデル特徴

クロスモーダル融合
革新的な融合戦略により音声とテキストの特徴を統合
効率的なアーキテクチャ
WavLMとBERTの利点を組み合わせ、効率的なマルチモーダル処理を実現
パラメータ最適化
特定の融合パラメータ設定（k=2, s, resd=1）により性能と効率のバランスを調整

モデル能力

音声特徴抽出
テキスト理解
クロスモーダル情報融合
音声テキスト共同タスク処理

使用事例

音声テキストアライメント
音声からテキストへの変換品質評価
ASRシステムの出力テキストと元の音声の意味的一貫性を評価
マルチモーダル感情分析
音声テキスト共同感情認識
音声内容とテキスト内容の感情傾向を同時に分析
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル Transformers 複数言語対応
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。
対話システム Transformers 英語
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
English简体中文繁體中文にほんご
© 2025AIbase