A

Albert Xxlarge V2

由albert開發
ALBERT XXLarge v2是基於掩碼語言建模目標預訓練的大型語言模型,採用參數共享的Transformer架構,具有12層重複結構和2.23億參數。
下載量 19.79k
發布時間 : 3/2/2022

模型概述

該模型是ALBERT系列中的最大版本,通過共享層參數減少內存佔用,在多項NLP任務中表現優異。主要用於文本特徵提取和下游任務微調。

模型特點

參數共享架構
通過共享所有Transformer層的參數,顯著減少模型內存佔用
雙目標預訓練
同時使用掩碼語言建模(MLM)和句子順序預測(SOP)進行預訓練
大規模預訓練數據
使用BookCorpus和英文維基百科進行訓練,覆蓋廣泛文本類型
版本改進
v2版本通過調整dropout率和延長訓練時間,性能優於v1版本

模型能力

文本特徵提取
掩碼語言預測
句子順序判斷
下游任務微調

使用案例

自然語言理解
文本分類
可用於情感分析、主題分類等任務
在SST-2情感分析任務中達到96.8%準確率
問答系統
用於構建開放域問答系統
在SQuAD2.0問答任務中達到89.8/86.9的EM/F1分數
語言模型研究
語言表示學習
研究參數共享架構對語言表示的影響
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase