Vinilm 2021 From Large

🚀 viniLM-2021-from-large

viniLM-2021-from-large 是基於 MiniLMv2 蒸餾技術，將 vBERT-2021-large 蒸餾成的一個更小的 minilmv2 模型，在不顯著損失性能的情況下實現了更快的推理速度。

🚀 快速開始

模型信息

動機

基於 MiniLMv2 蒸餾技術，我們將 vBERT-2021-large 蒸餾成一個更小的 minilmv2 模型，以在不顯著損失性能的情況下實現更快的推理速度。

預期用途

該模型作為 VMware 特定的語言模型發揮作用。

如何使用

以下是如何在 PyTorch 中使用此模型獲取給定文本的特徵：

from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('VMware/vinilm-2021-from-large')
model = BertModel.from_pretrained("VMware/vinilm-2021-from-large")
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

在 TensorFlow 中的使用方法如下：

from transformers import BertTokenizer, TFBertModel
tokenizer = BertTokenizer.from_pretrained('VMware/vinilm-2021-from-large')
model = TFBertModel.from_pretrained('VMware/vinilm-2021-from-large')
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

🔧 技術細節

訓練

• 該模型是從 vBERT-2021-large 蒸餾而來。
• 權重使用 nreimers/MiniLMv2-L6-H768-distilled-from-BERT-Large 進行初始化。

數據集

使用了公開可用的 VMware 文本數據，如 VMware 文檔、博客等，將教師模型 vBERT-2021-large 蒸餾成 vinilm-2021-from-large 模型。數據於 2021 年 5 月收集（約 320,000 個文檔）。

預處理

• 解碼 HTML
• 解碼 Unicode
• 去除重複字符
• 拆分複合詞
• 拼寫糾正

模型性能評估

我們在各種 VMware 特定的 NLP 下游任務（信息檢索、分類等）上對 vinilm 進行了基準測試。

📄 許可證

本項目採用 Apache 2.0 許可證。

⚠️ 重要提示

• 由於該模型是從基於 BERT 模型的 vBERT 模型蒸餾而來，它可能具有與原始 BERT 模型相同的偏差。
• 為了最大化模型性能，數據需要使用我們內部的 vNLP 預處理器（不對外公開）進行預處理。