A

Albert Xxlarge V1

由albert開發
ALBERT XXLarge v1是基於英語語料、採用掩碼語言建模(MLM)目標預訓練的Transformer模型,具有參數共享特性。
下載量 930
發布時間 : 3/2/2022

模型概述

該模型是ALBERT系列中的大型版本,通過自監督學習在英語文本上預訓練,適用於下游任務的微調。

模型特點

參數共享架構
所有Transformer層共享參數,顯著減少內存佔用
雙任務預訓練
同時使用掩碼語言建模(MLM)和句子順序預測(SOP)進行預訓練
大容量設計
4096維隱藏層和64個注意力頭的配置,適合複雜語言理解任務

模型能力

文本特徵提取
掩碼詞預測
句子順序判斷

使用案例

自然語言處理
文本分類
通過微調模型實現情感分析、主題分類等任務
在SST-2情感分析任務中達到96.9%準確率
問答系統
基於SQuAD數據集的問答任務微調
在SQuAD2.0上達到90.2/87.4的F1/EM分數
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase