B

Bert L12 H256 A4

Developed by eli4s
基於知識蒸餾技術預訓練的輕量級BERT模型,隱藏層維度為256,配備4個注意力頭,適用於掩碼語言建模任務。
Downloads 17
Release Time : 3/2/2022

Model Overview

該模型是通過知識蒸餾技術從BERT基礎模型預訓練得到的輕量級版本,保留了BERT的核心架構但減少了隱藏層維度,適用於文本理解和生成任務。

Model Features

輕量級架構
隱藏層維度為256,相比標準BERT模型更輕量,適合資源有限的環境。
知識蒸餾技術
通過知識蒸餾從大型BERT模型中學習,保持性能的同時減少模型複雜度。
多損失函數優化
在知識蒸餾過程中採用多重損失函數進行優化,提升模型性能。

Model Capabilities

掩碼語言預測
文本理解
上下文詞預測

Use Cases

文本補全
句子補全
預測句子中被掩碼的單詞
可生成語義合理的補全結果
語言理解
上下文詞義理解
根據上下文預測最合適的詞彙
能準確理解上下文並選擇合適詞彙
AIbase
Empowering the Future, Your AI Solution Knowledge Base
© 2025AIbase