D

Deberta V3 Small

microsoftによって開発
DeBERTa-v3はマイクロソフトが開発した改良版の自然言語理解モデルで、ELECTRAスタイルの事前学習と勾配解耦埋め込み共有技術を用いて最適化され、少ないパラメータ数を維持しながら高い性能を実現しています。
ダウンロード数 189.23k
リリース時間 : 3/2/2022

モデル概要

DeBERTa-v3小型モデルは6層のネットワーク構造を採用し、自然言語理解タスクに特化しており、解耦注意力機構と強化型マスクデコーダーによってモデルの効率を向上させています。

モデル特徴

ELECTRAスタイルの事前学習
より効率的なELECTRA事前学習フレームワークを採用し、モデルの学習効率を向上させます。
勾配解耦埋め込み共有
革新的な勾配解耦技術を用いて埋め込み層のパラメータ共有を最適化します。
解耦注意力機構
改良された注意力機構により、テキスト内の位置と内容の情報をより良く捉えることができます。
強化型マスクデコーダー
強化されたマスク言語モデリング能力により、モデルの理解性能を向上させます。

モデル能力

テキスト分類
質問応答システム
自然言語推論

使用事例

テキスト理解
質問応答システム
SQuADなどの質問応答データセットに適用されます。
SQuAD 2.0でのF1スコアは82.8
テキスト分類
MNLIなどの自然言語推論タスクに適用されます。
MNLIの一致/不一致の正解率は88.3/87.7
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase