Bert L12 H256 A4

🚀 マスク言語モデル (Bert-L12-h256-A4)

このモデルは、知識蒸留を用いてbookcorpusデータセットで事前学習されました。BERTと同じアーキテクチャを持ちながら、隠れ層のサイズが256という特徴を持っています。また、4つのアテンションヘッドを持ち、ヘッドサイズはBERT baseモデルと同じく64です。

🚀 クイックスタート

このモデルは、知識蒸留を用いてbookcorpusデータセットで事前学習されました。知識蒸留は複数の損失関数を使用して行われ、モデルの重みはゼロから初期化されました。トークナイザーはbert-base-uncasedと同じです。

✨ 主な機能

• このモデルはBERTと同じアーキテクチャを持ちながら、隠れ層のサイズが256です。
• 4つのアテンションヘッドを持ち、ヘッドサイズは64です。
• 知識蒸留は複数の損失関数を使用して行われました。
• モデルの重みはゼロから初期化されました。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

モデルとトークナイザーをロードするには、以下のコードを使用します。

from transformers import AutoModelForMaskedLM, BertTokenizer

model_name = "eli4s/Bert-L12-h256-A4"
model = AutoModelForMaskedLM.from_pretrained(model_name)
tokenizer = BertTokenizer.from_pretrained(model_name)

高度な使用法

マスク言語モデルとして使用するには、以下のコードを使用します。

import torch

sentence = "Let's have a [MASK]."

model.eval()
inputs = tokenizer([sentence], padding='longest', return_tensors='pt')
output = model(inputs['input_ids'], attention_mask=inputs['attention_mask'])

mask_index = inputs['input_ids'].tolist()[0].index(103)
masked_token = output['logits'][0][mask_index].argmax(axis=-1)
predicted_token = tokenizer.decode(masked_token)

print(predicted_token)

また、最も関連性の高いn個の予測を行うこともできます。

top_n = 5

vocab_size = model.config.vocab_size
logits = output['logits'][0][mask_index].tolist()
top_tokens = sorted(list(range(vocab_size)), key=lambda  i:logits[i], reverse=True)[:top_n]

tokenizer.decode(top_tokens)

🔧 技術詳細

• このモデルは、知識蒸留を用いてbookcorpusデータセットで事前学習されました。
• 知識蒸留は複数の損失関数を使用して行われました。
• モデルの重みはゼロから初期化されました。
• トークナイザーはbert-base-uncasedと同じです。