Roberta Qa Japanese

🚀 roberta_qa_japanese

このモデルは、抽出型の質問応答タスク向けに微調整された、[rinna/japanese - roberta - base](https://huggingface.co/rinna/japanese - roberta - base)（rinna株式会社によって提供される事前学習済みRoBERTaモデル）のバージョンです。このモデルは、Skelter Labsによって提供されるJaQuADデータセットで微調整されており、このデータセットのデータは日本語のウィキペディア記事から収集され、人手によってアノテーション付けされています。

🚀 クイックスタート

このモデルを使用するには、以下の2つの方法があります。

専用パイプラインを使用する場合

from transformers import pipeline

model_name = "tsmatz/roberta_qa_japanese"
qa_pipeline = pipeline(
    "question-answering",
    model=model_name,
    tokenizer=model_name)
result = qa_pipeline(
    question = "決勝トーナメントで日本に勝ったのはどこでしたか。",
    context = "日本は予選リーグで強豪のドイツとスペインに勝って決勝トーナメントに進んだが、クロアチアと対戦して敗れた。",
    align_to_words = False,
)
print(result)

手動で順伝播を行う場合

import torch
import numpy as np
from transformers import AutoModelForQuestionAnswering, AutoTokenizer

model_name = "tsmatz/roberta_qa_japanese"
model = (AutoModelForQuestionAnswering
         .from_pretrained(model_name))
tokenizer = AutoTokenizer.from_pretrained(model_name)

def inference_answer(question, context):
    question = question
    context = context
    test_feature = tokenizer(
        question,
        context,
        max_length=318,
    )
    with torch.no_grad():
        outputs = model(torch.tensor([test_feature["input_ids"]]))
    start_logits = outputs.start_logits.cpu().numpy()
    end_logits = outputs.end_logits.cpu().numpy()
    answer_ids = test_feature["input_ids"][np.argmax(start_logits):np.argmax(end_logits)+1]
    return "".join(tokenizer.batch_decode(answer_ids))

question = "決勝トーナメントで日本に勝ったのはどこでしたか。"
context = "日本は予選リーグで強豪のドイツとスペインに勝って決勝トーナメントに進んだが、クロアチアと対戦して敗れた。"
answer_pred = inference_answer(question, context)
print(answer_pred)

✨ 主な機能

このモデルは、日本語の抽出型質問応答タスクに特化しており、日本語のウィキペディア記事をベースにしたデータセットで訓練されています。

🔧 技術詳細

訓練手順

微調整のソースコードは、[こちら](https://github.com/tsmatz/huggingface - finetune - japanese/blob/master/03 - question - answering.ipynb)からダウンロードできます。

訓練ハイパーパラメータ

訓練時に使用されたハイパーパラメータは以下の通りです。

訓練結果

フレームワークバージョン

• Transformers 4.23.1
• Pytorch 1.12.1+cu102
• Datasets 2.6.1
• Tokenizers 0.13.1

📄 ライセンス

このモデルはMITライセンスの下で提供されています。