A

Albert Base V1

由albert開發
ALBERT是基於Transformer架構的輕量級預訓練語言模型,通過自監督學習在英語文本上訓練,具有參數共享特性以減少內存佔用。
下載量 18.34k
發布時間 : 3/2/2022

模型概述

該模型採用掩碼語言建模和句子順序預測目標進行預訓練,適用於下游任務的微調,如文本分類、問答等。

模型特點

參數共享架構
所有Transformer層共享權重,顯著減少內存佔用
輕量級設計
基礎版僅1100萬參數,適合資源有限場景
雙向上下文理解
通過掩碼語言建模學習文本雙向表徵

模型能力

文本特徵提取
掩碼詞彙預測
句子順序判斷
下游任務微調

使用案例

文本理解
序列分類
情感分析、主題分類等任務
在SST-2情感分析任務中達到90.3%準確率
問答系統
基於文本的問答任務
在SQuAD1.1上F1得分89.3
語言建模
文本補全
預測被遮蔽的詞彙
示例顯示能預測合理的上下文相關詞彙
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase