T5 Large Word Sense Disambiguation

🚀 T5-large for Word Sense Disambiguation

このモデルは、単語の意味曖昧性解消（Word Sense Disambiguation）を行うためのT5-largeモデルです。SemCor 3.0データセットで学習されています。

🚀 クイックスタート

このモデルを研究で使用する場合は、以下の文献を引用してください。

@article{wahle2021incorporating,
  title={Incorporating Word Sense Disambiguation in Neural Language Models},
  author={Wahle, Jan Philip and Ruas, Terry and Meuschke, Norman and Gipp, Bela},
  journal={arXiv preprint arXiv:2106.07967},
  year={2021}
}

このモデルは、SemCor 3.0データセットで学習されたT5-largeのチェックポイントです。

このモデルに関する追加情報:

• The t5-large model page
• Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
• Official implementation by Google

💻 使用例

基本的な使用法

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

model = AutoModelForSeq2SeqLM.from_pretrained("jpelhaw/t5-word-sense-disambiguation")
tokenizer = AutoTokenizer.from_pretrained("jpelhaw/t5-word-sense-disambiguation")

input = '''question: which description describes the word " java "
           best in the following context? 
descriptions:[  " A drink consisting of an infusion of ground coffee beans ", 
                " a platform-independent programming language ", or
                " an island in Indonesia to the south of Borneo " ] 
context: I like to drink " java " in the morning .'''


example = tokenizer.tokenize(input, add_special_tokens=True)

answer = model.generate(input_ids=example['input_ids'], 
                                attention_mask=example['attention_mask'], 
                                max_length=135)
                                
# "a drink consisting of an infusion of ground coffee beans"

モデル情報