Tinybert General 4L 312D De

🚀 TinyBERTモデル（ドイツ語版）

このプロジェクトは、ドイツ語（de）用のTinyBERTモデルを提供します。このモデルは、論文「TinyBERT: Distilling BERT for Natural Language Understanding」（https://arxiv.org/abs/1909.10351）で説明されている方法を用いて、bert base casedモデル（https://huggingface.co/dbmdz/bert-base-german-cased）を蒸留することで作成されました。

✨ 主な機能

• ドイツ語の言語モデリング（fill - mask）タスクに適用可能
• NERや分類タスクにも利用できる

📦 インストール

必要なバージョン：

💻 使用例

基本的な使用法

LM（fill - mask）タスクのためのモデルの読み込み方法：

# How to load model for LM(fill-mask) task: 
tokenizer = transformers.BertTokenizer.from_pretrained(model_dir + '/vocab.txt', do_lower_case=False)
config = transformers.BertConfig.from_json_file(model_dir+'config.json')
model = transformers.BertModel(config=config)
model.pooler = nn.Sequential(nn.Linear(in_features=model.config.hidden_size, out_features=model.config.hidden_size, bias=True),
                             nn.LayerNorm((model.config.hidden_size,), eps=1e-12, elementwise_affine=True),
                             nn.Linear(in_features=model.config.hidden_size, out_features=len(tokenizer), bias=True))

model.resize_token_embeddings(len(tokenizer))
    
checkpoint = torch.load(model_dir+'/pytorch_model.bin', map_location=torch.device('cuda'))
model.load_state_dict(checkpoint)

高度な使用法

NERまたは分類タスクの場合、LMタスク用のモデルを読み込み、poolerを変更する必要があります。

# In case of NER or Classification task we have to load model for LM task and change pooler: 
model.pooler = nn.Sequential(nn.Dropout(p=config.hidden_dropout_prob, inplace=False), 
                             nn.Linear(in_features=config.hidden_size, out_features=n_classes, bias=True))

📚 ドキュメント

データセット

• ドイツ語版ウィキペディアテキストコーパス - https://github.com/t-systems-on-site-services-gmbh/german-wikipedia-text-corpus

モデル情報