Spbert Mlm Zero

🚀 SPBERT MLM (Scratch)

SPBERT MLM (Scratch)は、知識グラフ上の質問応答に特化した、SPARQLクエリに基づく事前学習済みBERTモデルです。

🚀 クイックスタート

論文情報

論文: SPBERT: An Efficient Pre-training BERT on SPARQL Queries for Question Answering over Knowledge Graphs 著者: Hieu Tran, Long Phan, James Anibal, Binh T. Nguyen, Truong-Son Nguyen

使い方

詳細については、私たちのGitHubリポジトリをご確認ください。

以下に、PytorchとTensorflowでの使用例を示します。

💻 使用例

基本的な使用法

Pytorchの場合

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('razent/spbert-mlm-zero')
model = AutoModel.from_pretrained("razent/spbert-mlm-zero")
text = "select * where brack_open var_a var_b var_c sep_dot brack_close"
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

Tensorflowの場合

from transformers import AutoTokenizer, TFAutoModel
tokenizer = AutoTokenizer.from_pretrained('razent/spbert-mlm-zero')
model = TFAutoModel.from_pretrained("razent/spbert-mlm-zero")
text = "select * where brack_open var_a var_b var_c sep_dot brack_close"
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

引用

@misc{tran2021spbert,
      title={SPBERT: An Efficient Pre-training BERT on SPARQL Queries for Question Answering over Knowledge Graphs}, 
      author={Hieu Tran and Long Phan and James Anibal and Binh T. Nguyen and Truong-Son Nguyen},
      year={2021},
      eprint={2106.09997},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}