D

Deberta Xlarge Mnli

Developed by microsoft
DeBERTa-XLarge-MNLIは分離注意メカニズムを基にした強化型BERTモデルで、MNLIタスクで微調整され、750Mのパラメータを持ち、自然言語理解タスクで優れた性能を発揮します。
Downloads 833.58k
Release Time : 3/2/2022

Model Overview

DeBERTaは分離注意メカニズムと強化されたマスクデコーダーによりBERTとRoBERTaモデルを改良し、80GBのトレーニングデータの下で、ほとんどの自然言語理解タスクにおいてBERTとRoBERTaの性能を上回りました。

Model Features

分離注意メカニズム
分離注意メカニズムによりBERTとRoBERTaモデルを改良し、自然言語理解タスクにおけるモデルの性能を向上させました。
強化されたマスクデコーダー
強化されたマスクデコーダーを採用し、モデルの性能をさらに向上させました。
大規模トレーニングデータ
80GBのトレーニングデータでトレーニングされ、複数の自然言語理解タスクで優れた性能を発揮します。

Model Capabilities

自然言語理解
テキスト分類
意味的類似度計算

Use Cases

自然言語処理
テキスト含意認識
2つの文間の論理的関係(含意、矛盾、中立)を識別します。
MNLIタスクで91.5/91.2(一致/不一致)の精度を達成。
意味的類似度計算
2つの文間の意味的類似度を計算します。
STS-BタスクでPearson/Spearman相関係数92.9/92.7を達成。
AIbase
Empowering the Future, Your AI Solution Knowledge Base
© 2025AIbase