Luke Japanese Base Finetuned Jsts

🚀 微調版LUKE日語基礎模型用於JSTS任務

本模型是對luke - japanese - base進行微調，使其適用於JSTS（句子相似度計算）任務。它藉助yahoo japan/JGLUE的JSTS（https://github.com/yahoojapan/JGLUE ）數據集進行微調，可用於計算句子相似度（最高分為5分）。

🚀 快速開始

安裝transformers和sentencepiece，並執行以下代碼，即可進行JSTS（句子相似度計算）任務：

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import numpy as np

tokenizer=AutoTokenizer.from_pretrained('Mizuiro-sakura/luke-japanese-base-finetuned-jsts')
model=AutoModelForSequenceClassification.from_pretrained('Mizuiro-sakura/luke-japanese-base-finetuned-jsts')
sentence1='今日は銀座に買い物に出かけた'
sentence2='今日は銀座に服を買いに出かけた'

token=tokenizer(sentence1,sentence2)

import torch
tensor_input_ids = torch.tensor(token["input_ids"])
tensor_attention_masks = torch.tensor(token["attention_mask"])

outputs=model(tensor_input_ids.unsqueeze(0), tensor_attention_masks.unsqueeze(0))

print(outputs.logits[0][1]*5)

✨ 主要特性

• 基於luke - japanese - base進行微調，適用於JSTS任務。
• 可用於計算句子相似度。

📦 安裝指南

需要安裝transformers和sentencepiece庫，可使用以下命令進行安裝：

pip install transformers sentencepiece

📚 詳細文檔

模型的精度

模型的精度通過皮爾遜積矩相關係數（Pearson）衡量，具體數值為： Pearson（皮爾遜的積率相關係數）: 0.8971

LUKE是什麼？

LUKE（Language Understanding with Knowledge - based Embeddings）是一種基於Transformer的預訓練詞和實體上下文表示模型。它將給定文本中的單詞和實體視為獨立的標記，並輸出它們的上下文表示。LUKE採用了實體感知的自注意力機制，這是Transformer自注意力機制的擴展，在計算注意力分數時會考慮標記的類型（單詞或實體）。

LUKE在包括SQuAD v1.1（抽取式問答）、CoNLL - 2003（命名實體識別）、ReCoRD（完形填空式問答）、TACRED（關係分類）和Open Entity（實體類型）在內的五個流行NLP基準測試中取得了最先進的結果。luke - japanese是LUKE的日語版本，它將單詞和實體作為獨立的標記處理，並輸出考慮上下文的表示。

📄 許可證

本模型採用MIT許可證。

📖 引用

[1]@inproceedings{yamada2020luke, title={LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention}, author={Ikuya Yamada and Akari Asai and Hiroyuki Shindo and Hideaki Takeda and Yuji Matsumoto}, booktitle={EMNLP}, year={2020} }

🙏 致謝

感謝Luke的開發者山田先生（@ikuyamada）和Studio ousia（@StudioOusia）。