Vbert 2021 Base

🚀 vBERT-2021-BASE

vBERT-2021-BASEは、VMware固有の単語や技術用語に対応した事前学習済み言語モデルです。VMwareのドメインデータを使用して事前学習されており、VMware固有のNLPタスクで高い性能を発揮します。

🚀 クイックスタート

このモデルを使用して、与えられたテキストの特徴を取得する方法を説明します。

PyTorchでの使用方法

from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('VMware/vbert-2021-base')
model = BertModel.from_pretrained("VMware/vbert-2021-base")
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

TensorFlowでの使用方法

from transformers import BertTokenizer, TFBertModel
tokenizer = BertTokenizer.from_pretrained('VMware/vbert-2021-base')
model = TFBertModel.from_pretrained('VMware/vbert-2021-base')
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

✨ 主な機能

• VMware固有の単語や技術用語に対応した事前学習済み言語モデル
• VMwareのドメインデータを使用して事前学習されている
• VMware固有のNLPタスクで高い性能を発揮する

📦 インストール

このモデルは、transformersライブラリを使用して簡単にインストールできます。以下のコマンドを実行してください。

pip install transformers

📚 ドキュメント

モデル情報

開発動機

従来のBERTモデルは、VMware固有の単語（Tanzu、vSphereなど）、技術用語、および複合語に対応するのが困難です。（Weaknesses of WordPiece Tokenization）

私たちは、BERT Pretraining Libraryを使用して、上記の問題を解決するためにvBERTモデルを事前学習させました。BERTの語彙の最初の1kの未使用トークンをVMware固有の用語に置き換えて、修正された語彙を作成しました。その後、'bert-base-uncased'モデルをVMwareドメインデータでさらに78Kステップ（MSL_128で71k、MSL_512で7k）（約5エポック）事前学習させました。

想定される使用方法

このモデルは、VMware固有の言語モデルとして機能します。

学習

データセット

事前学習コーパスの作成には、VMware DocsやBlogなどの公開されているVMwareのテキストデータが使用されました。2021年5月に収集されました。（約320,000ドキュメント）

前処理

• HTMLのデコード
• Unicodeのデコード
• 繰り返し文字の削除
• 複合語の分割
• スペル修正

モデル性能評価

私たちは、さまざまなVMware固有のNLP下流タスク（IR、分類など）でvBERTをベンチマークしました。このモデルは、すべてのベンチマークで'bert-base-uncased'モデルよりも高いスコアを記録しました。

🔧 技術詳細

このモデルは、BERTモデルをベースにしており、VMware固有の単語や技術用語に対応するために事前学習されています。事前学習には、VMwareのドメインデータが使用されており、モデルはVMware固有のNLPタスクで高い性能を発揮します。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で公開されています。