A

Albert Large V2

由albert開發
ALBERT Large v2是基於英語語料、採用掩碼語言建模(MLM)目標預訓練的Transformer模型,具有參數共享的特點。
下載量 6,841
發布時間 : 3/2/2022

模型概述

該模型是一個基於Transformer架構的自監督學習模型,主要用於自然語言處理任務,如文本分類、問答系統等。

模型特點

參數共享
ALBERT在Transformer中共享各層的參數,減少了內存佔用。
高效預訓練
通過掩碼語言建模和句子順序預測兩個目標進行預訓練,學習語言的深層表示。
版本改進
版本2相比版本1有更好的性能,得益於不同的丟棄率、額外的訓練數據和更長的訓練時間。

模型能力

文本特徵提取
掩碼語言建模
句子順序預測
下游任務微調

使用案例

自然語言處理
文本分類
使用ALBERT模型生成的特徵作為輸入來訓練標準分類器。
問答系統
在問答任務上進行微調,如SQuAD數據集。
在SQuAD2.0上達到84.9/81.8的F1/EM分數
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase