Tinybert General 4L 312D De

🚀 德語TinyBERT模型

本項目提供了用於德語（de）的TinyBERT模型。該模型是通過對BERT基礎大小寫敏感模型（https://huggingface.co/dbmdz/bert-base-german-cased）進行蒸餾得到的，蒸餾方法參考了論文https://arxiv.org/abs/1909.10351 （TinyBERT: Distilling BERT for Natural Language Understanding）。

✨ 主要特性

• 基於蒸餾技術，從德語BERT基礎模型派生而來，更輕量高效。
• 適用於德語的語言建模（填充掩碼）、命名實體識別（NER）和分類任務。

📦 安裝指南

本模型運行所需的版本信息如下：

• torch==1.4.0
• transformers==4.8.1

你可以使用以下命令安裝所需庫：

pip install torch==1.4.0 transformers==4.8.1

💻 使用示例

基礎用法

以下是如何加載模型以進行語言建模（填充掩碼）任務的示例：

# 加載分詞器
tokenizer = transformers.BertTokenizer.from_pretrained(model_dir + '/vocab.txt', do_lower_case=False)
# 加載配置文件
config = transformers.BertConfig.from_json_file(model_dir+'config.json')
# 初始化模型
model = transformers.BertModel(config=config)
# 調整池化層
model.pooler = nn.Sequential(nn.Linear(in_features=model.config.hidden_size, out_features=model.config.hidden_size, bias=True),
                             nn.LayerNorm((model.config.hidden_size,), eps=1e-12, elementwise_affine=True),
                             nn.Linear(in_features=model.config.hidden_size, out_features=len(tokenizer), bias=True))

model.resize_token_embeddings(len(tokenizer))
# 加載預訓練權重
checkpoint = torch.load(model_dir+'/pytorch_model.bin', map_location=torch.device('cuda'))
model.load_state_dict(checkpoint)

高級用法

如果要進行命名實體識別（NER）或分類任務，需要先加載語言建模任務的模型，然後更改池化層：

# 更改池化層以適應NER或分類任務
model.pooler = nn.Sequential(nn.Dropout(p=config.hidden_dropout_prob, inplace=False), 
                             nn.Linear(in_features=config.hidden_size, out_features=n_classes, bias=True))

📚 詳細文檔

數據集

本模型使用的數據集為德語維基百科文本語料庫，你可以從以下鏈接獲取：

• 德語維基百科文本語料庫 - https://github.com/t-systems-on-site-services-gmbh/german-wikipedia-text-corpus

模型信息