Vinilm 2021 From Large

🚀 viniLM-2021-from-large

viniLM-2021-from-largeは、VMwareに特化した事前学習言語モデルです。MiniLMv2の蒸留技術を用いて、vBERT-2021-largeを小型化し、高速な推論を実現しています。

🚀 クイックスタート

このモデルは、VMwareに特化した言語モデルとして機能します。以下に、PyTorchとTensorFlowでの使用例を示します。

💻 使用例

基本的な使用法

PyTorchでの使用例

from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('VMware/vinilm-2021-from-large')
model = BertModel.from_pretrained("VMware/vinilm-2021-from-large")
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

TensorFlowでの使用例

from transformers import BertTokenizer, TFBertModel
tokenizer = BertTokenizer.from_pretrained('VMware/vinilm-2021-from-large')
model = TFBertModel.from_pretrained('VMware/vinilm-2021-from-large')
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

📚 詳細ドキュメント

🔍 モデル情報

🎯 開発動機

MiniLMv2 distillationに基づいて、vBERT-2021-largeを小型のminilmv2モデルに蒸留し、性能を大きく損なうことなく、推論速度を向上させました。

📋 想定使用用途

このモデルは、VMwareに特化した言語モデルとして機能します。

🔧 学習情報

• ベースモデル: このモデルは、vBERT-2021-largeから蒸留されています。
• 初期化重み: 重みは、nreimers/MiniLMv2-L6-H768-distilled-from-BERT-Largeを使用して初期化されています。

📊 学習データセット

公開されているVMwareのテキストデータ（VMware Docs、Blogsなど）を使用して、教師モデルであるvBERT-2021-largeをvinilm-2021-from-largeモデルに蒸留しました。データは2021年5月に収集され、約320,000件のドキュメントが含まれています。

🛠️ 前処理

• HTMLのデコード
• Unicodeのデコード
• 繰り返し文字の削除
• 複合語の分割
• スペル訂正

📈 モデル性能評価

このモデルは、様々なVMware固有のNLP下流タスク（IR、分類など）でベンチマークされています。

⚠️ 制限事項とバイアス

このモデルは、BERTモデルに基づくvBERTモデルから蒸留されているため、元のBERTモデルに含まれるバイアスと同じバイアスを持つ可能性があります。また、データは内部のvNLP Preprocessor（公開されていません）を使用して前処理する必要があり、これにより性能を最大化することができます。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で公開されています。