# 權重共享架構

基於法語維基百科預訓練的ALBERT基礎模型，支持大小寫識別，適用於法語NLP任務。

ALBERT是基於Transformer架構的輕量級預訓練語言模型，通過自監督學習在英語文本上訓練，具有參數共享特性以減少內存佔用。

ALBERT是基於英語語料預訓練的輕量級BERT變體，通過參數共享減少內存佔用，支持掩碼語言建模和句子順序預測任務。