Spbert Mlm Zero

🚀 SPBERT MLM (Scratch)

SPBERT MLM (Scratch) 是一个用于知识图谱问答的预训练模型，它基于SPARQL查询进行高效预训练，能有效提升知识图谱问答的性能。

🚀 快速开始

若需更多详细信息，请查看 我们的GitHub仓库。

💻 使用示例

基础用法

以下是在Pytorch中的使用示例：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('razent/spbert-mlm-zero')
model = AutoModel.from_pretrained("razent/spbert-mlm-zero")
text = "select * where brack_open var_a var_b var_c sep_dot brack_close"
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

高级用法

以下是在Tensorflow中的使用示例：

from transformers import AutoTokenizer, TFAutoModel
tokenizer = AutoTokenizer.from_pretrained('razent/spbert-mlm-zero')
model = TFAutoModel.from_pretrained("razent/spbert-mlm-zero")
text = "select * where brack_open var_a var_b var_c sep_dot brack_close"
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

📚 详细文档

论文信息

• 论文标题：SPBERT: An Efficient Pre-training BERT on SPARQL Queries for Question Answering over Knowledge Graphs
• 作者：Hieu Tran, Long Phan, James Anibal, Binh T. Nguyen, Truong-Son Nguyen

引用信息

如果您使用了该模型，请按照以下格式进行引用：

@misc{tran2021spbert,
      title={SPBERT: An Efficient Pre-training BERT on SPARQL Queries for Question Answering over Knowledge Graphs}, 
      author={Hieu Tran and Long Phan and James Anibal and Binh T. Nguyen and Truong-Son Nguyen},
      year={2021},
      eprint={2106.09997},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}