Bert L12 H384 A6

🚀 輕量級知識蒸餾BERT模型

本模型通過知識蒸餾技術，在BookCorpus數據集上進行了預訓練。它與BERT架構相同，但隱藏層大小為384（僅為BERT隱藏層大小的一半），且有6個注意力頭（與BERT的頭大小相同）。該模型使用多種損失函數進行知識蒸餾，權重從零開始初始化。此外，其分詞器與bert-base-uncased模型的分詞器相同。

🚀 快速開始

加載模型和分詞器

from transformers import AutoModelForMaskedLM, BertTokenizer

model_name = "eli4s/Bert-L12-h384-A6"
model = AutoModelForMaskedLM.from_pretrained(model_name)
tokenizer = BertTokenizer.from_pretrained(model_name)

在句子上使用模型

import torch

sentence = "Let's have a [MASK]."

model.eval()
inputs = tokenizer([sentence], padding='longest', return_tensors='pt')
output = model(inputs['input_ids'], attention_mask=inputs['attention_mask'])

mask_index = inputs['input_ids'].tolist()[0].index(103)
masked_token = output['logits'][0][mask_index].argmax(axis=-1)
predicted_token = tokenizer.decode(masked_token)

print(predicted_token)

預測最相關的n個結果

top_n = 5

vocab_size = model.config.vocab_size
logits = output['logits'][0][mask_index].tolist()
top_tokens = sorted(list(range(vocab_size)), key=lambda  i:logits[i], reverse=True)[:top_n]

tokenizer.decode(top_tokens)

✨ 主要特性

• 輕量級架構：隱藏層大小為384，僅為BERT隱藏層大小的一半，同時具備6個注意力頭。
• 知識蒸餾：使用多種損失函數進行知識蒸餾，提升模型性能。
• 權重初始化：模型權重從零開始初始化。
• 通用分詞器：使用與bert-base-uncased相同的分詞器。

🔧 技術細節

本模型在BookCorpus數據集上進行預訓練，採用知識蒸餾技術。與BERT架構一致，但在隱藏層大小和注意力頭數量上進行了調整，隱藏層大小為384，有6個注意力頭。知識蒸餾過程中使用了多種損失函數，模型權重從零開始初始化。分詞器則複用了bert-base-uncased的分詞器，確保了模型使用的便利性和通用性。