D

Deberta V2 Xlarge Mnli

microsoftによって開発
DeBERTa V2 XLargeはマイクロソフトが開発した強化型自然言語理解モデルで、解耦注意力機構と強化型マスクデコーダーを用いてBERTアーキテクチャを改良し、複数のNLUタスクでBERTやRoBERTaを上回る性能を発揮します。
ダウンロード数 51.59k
リリース時間 : 3/2/2022

モデル概要

解耦注意力機構に基づく改良型BERTアーキテクチャで、自然言語理解タスクに特化し、GLUEやSQuADなどのベンチマークテストで優れた性能を示します。

モデル特徴

解耦注意力機構
内容と位置の注意力計算を分離し、モデルのテキスト位置関係の理解能力を強化します。
強化型マスクデコーダー
改良されたマスク言語モデリング目標で、文脈依存関係をより良く捉えます。
大規模事前学習
80GBの学習データを用いて事前学習を行い、より豊富な言語表現を学習します。

モデル能力

テキスト分類
質問応答システム
意味的類似度計算
自然言語推論
文対分類

使用事例

テキスト理解
感情分析
テキストの感情傾向(肯定的/否定的)を分析します。
SST - 2データセットで97.5%の正解率を達成しました。
質問応答システム
与えられたテキストに基づく質問に回答します。
SQuAD 2.0でF1スコア91.4、EMスコア88.9を達成しました。
意味分析
意味的類似度判断
2つの文の意味的類似度を判断します。
STS - Bデータセットでピアソン相関係数92.9を達成しました。
自然言語推論
テキスト間の論理関係(含意/矛盾/中立)を判断します。
MNLIデータセットで正解率91.7%(マッチング)/91.6%(非マッチング)を達成しました。
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase