A

Albert Xxlarge V2

albertによって開発
ALBERT XXLarge v2は、マスク言語モデリングの目標に基づいて事前学習された大規模言語モデルで、パラメータ共有のTransformerアーキテクチャを採用し、12層の繰り返し構造と2.23億のパラメータを持っています。
ダウンロード数 19.79k
リリース時間 : 3/2/2022

モデル概要

このモデルはALBERTシリーズの最大バージョンで、層のパラメータを共有することでメモリ使用量を削減し、複数のNLPタスクで優れた性能を発揮します。主にテキスト特徴抽出と下流タスクの微調整に使用されます。

モデル特徴

パラメータ共有アーキテクチャ
すべてのTransformer層のパラメータを共有することで、モデルのメモリ使用量を大幅に削減します。
双目標事前学習
マスク言語モデリング(MLM)と文順予測(SOP)を同時に使用して事前学習を行います。
大規模事前学習データ
BookCorpusと英語版ウィキペディアを使用して学習し、幅広いテキストタイプをカバーしています。
バージョン改良
v2バージョンはdropout率を調整し、学習時間を延長することで、v1バージョンよりも性能が向上しています。

モデル能力

テキスト特徴抽出
マスク言語予測
文順判断
下流タスクの微調整

使用事例

自然言語理解
テキスト分類
感情分析、トピック分類などのタスクに使用できます。
SST - 2感情分析タスクで96.8%の正解率を達成しました。
質問応答システム
オープンドメインの質問応答システムを構築するために使用されます。
SQuAD2.0質問応答タスクで89.8/86.9のEM/F1スコアを達成しました。
言語モデル研究
言語表現学習
パラメータ共有アーキテクチャが言語表現に与える影響を研究します。
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase