Luke Japanese Base Finetuned Jsts

🚀 このモデルはluke-japanese-baseをファインチューニングして、JSTS(文章の類似度計算)に用いれるようにしたものです。

このモデルは、luke - japanese - baseをyahoo japan/JGLUEのJSTSを用いてファインチューニングしたもので、文章の類似度（5が最高値）を計算するタスクに使用できます。

🚀 クイックスタート

このモデルを使用するには、transformersとsentencepieceをインストールし、以下のコードを実行します。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import numpy as np

tokenizer=AutoTokenizer.from_pretrained('Mizuiro-sakura/luke-japanese-base-finetuned-jsts')
model=AutoModelForSequenceClassification.from_pretrained('Mizuiro-sakura/luke-japanese-base-finetuned-jsts')
sentence1='今日は銀座に買い物に出かけた'
sentence2='今日は銀座に服を買いに出かけた'

token=tokenizer(sentence1,sentence2)

import torch
tensor_input_ids = torch.tensor(token["input_ids"])
tensor_attention_masks = torch.tensor(token["attention_mask"])

outputs=model(tensor_input_ids.unsqueeze(0), tensor_attention_masks.unsqueeze(0))

print(outputs.logits[0][1]*5)

📚 ドキュメント

モデルの精度

Lukeとは？

LUKE (Language Understanding with Knowledge - based Embeddings) は、transformerに基づく単語とエンティティの新しい事前学習済みの文脈表現モデルです。LUKEは、与えられたテキスト内の単語とエンティティを独立したトークンとして扱い、それらの文脈表現を出力します。また、transformerの自己注意機構を拡張したエンティティ認識型自己注意機構を採用しており、注意スコアを計算する際にトークンのタイプ（単語またはエンティティ）を考慮します。

luke - japaneseは、LUKEの日本語版です。

謝辞

Lukeの開発者である山田先生とStudio ousiaさんに感謝いたします。

引用

[1]@inproceedings{yamada2020luke, title={LUKE: Deep Contextualized Entity Representations with Entity - aware Self - attention}, author={Ikuya Yamada and Akari Asai and Hiroyuki Shindo and Hideaki Takeda and Yuji Matsumoto}, booktitle={EMNLP}, year={2020} }

📄 ライセンス

このモデルはMITライセンスの下で提供されています。