Bert L12 H384 A6

🚀 轻量级知识蒸馏BERT模型

本模型通过知识蒸馏技术，在BookCorpus数据集上进行了预训练。它与BERT架构相同，但隐藏层大小为384（仅为BERT隐藏层大小的一半），且有6个注意力头（与BERT的头大小相同）。该模型使用多种损失函数进行知识蒸馏，权重从零开始初始化。此外，其分词器与bert-base-uncased模型的分词器相同。

🚀 快速开始

加载模型和分词器

from transformers import AutoModelForMaskedLM, BertTokenizer

model_name = "eli4s/Bert-L12-h384-A6"
model = AutoModelForMaskedLM.from_pretrained(model_name)
tokenizer = BertTokenizer.from_pretrained(model_name)

在句子上使用模型

import torch

sentence = "Let's have a [MASK]."

model.eval()
inputs = tokenizer([sentence], padding='longest', return_tensors='pt')
output = model(inputs['input_ids'], attention_mask=inputs['attention_mask'])

mask_index = inputs['input_ids'].tolist()[0].index(103)
masked_token = output['logits'][0][mask_index].argmax(axis=-1)
predicted_token = tokenizer.decode(masked_token)

print(predicted_token)

预测最相关的n个结果

top_n = 5

vocab_size = model.config.vocab_size
logits = output['logits'][0][mask_index].tolist()
top_tokens = sorted(list(range(vocab_size)), key=lambda  i:logits[i], reverse=True)[:top_n]

tokenizer.decode(top_tokens)

✨ 主要特性

• 轻量级架构：隐藏层大小为384，仅为BERT隐藏层大小的一半，同时具备6个注意力头。
• 知识蒸馏：使用多种损失函数进行知识蒸馏，提升模型性能。
• 权重初始化：模型权重从零开始初始化。
• 通用分词器：使用与bert-base-uncased相同的分词器。

🔧 技术细节

本模型在BookCorpus数据集上进行预训练，采用知识蒸馏技术。与BERT架构一致，但在隐藏层大小和注意力头数量上进行了调整，隐藏层大小为384，有6个注意力头。知识蒸馏过程中使用了多种损失函数，模型权重从零开始初始化。分词器则复用了bert-base-uncased的分词器，确保了模型使用的便利性和通用性。