A

Albert Xxlarge V1

albertによって開発
ALBERT XXLarge v1は英語コーパスに基づき、マスク言語モデリング(MLM)目標で事前学習されたTransformerモデルで、パラメータ共有の特性を持っています。
ダウンロード数 930
リリース時間 : 3/2/2022

モデル概要

このモデルはALBERTシリーズの大型バージョンで、自己教師付き学習により英語テキストで事前学習され、下流タスクの微調整に適しています。

モデル特徴

パラメータ共有アーキテクチャ
すべてのTransformer層がパラメータを共有し、メモリ使用量を大幅に削減します
双タスク事前学習
マスク言語モデリング(MLM)と文順予測(SOP)を同時に使用して事前学習を行います
大容量設計
4096次元の隠れ層と64個のアテンションヘッドの構成で、複雑な言語理解タスクに適しています

モデル能力

テキスト特徴抽出
マスク単語予測
文順判断

使用事例

自然言語処理
テキスト分類
モデルを微調整することで、感情分析、トピック分類などのタスクを実現します
SST-2感情分析タスクで96.9%の正解率を達成しました
質問応答システム
SQuADデータセットに基づく質問応答タスクで微調整を行います
SQuAD2.0で90.2/87.4のF1/EMスコアを達成しました
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase