Roberta Qa Japanese

🚀 roberta_qa_japanese

該模型是用於日語（抽取型）問答的模型，能基於給定文本準確抽取答案，解決日語問答需求

這個模型是 rinna/japanese-roberta-base（由rinna株式會社提供的預訓練RoBERTa模型）的微調版本，專為抽取式問答任務而訓練。

該模型在Skelter Labs提供的 JaQuAD 數據集上進行了微調，該數據集的數據來自日本維基百科文章，並經過人工標註。

🚀 快速開始

使用專用管道運行

from transformers import pipeline

model_name = "tsmatz/roberta_qa_japanese"
qa_pipeline = pipeline(
    "question-answering",
    model=model_name,
    tokenizer=model_name)
result = qa_pipeline(
    question = "決勝トーナメントで日本に勝ったのはどこでしたか。",
    context = "日本は予選リーグで強豪のドイツとスペインに勝って決勝トーナメントに進んだが、クロアチアと対戦して敗れた。",
    align_to_words = False,
)
print(result)

手動前向傳播運行

import torch
import numpy as np
from transformers import AutoModelForQuestionAnswering, AutoTokenizer

model_name = "tsmatz/roberta_qa_japanese"
model = (AutoModelForQuestionAnswering
         .from_pretrained(model_name))
tokenizer = AutoTokenizer.from_pretrained(model_name)

def inference_answer(question, context):
    question = question
    context = context
    test_feature = tokenizer(
        question,
        context,
        max_length=318,
    )
    with torch.no_grad():
        outputs = model(torch.tensor([test_feature["input_ids"]]))
    start_logits = outputs.start_logits.cpu().numpy()
    end_logits = outputs.end_logits.cpu().numpy()
    answer_ids = test_feature["input_ids"][np.argmax(start_logits):np.argmax(end_logits)+1]
    return "".join(tokenizer.batch_decode(answer_ids))

question = "決勝トーナメントで日本に勝ったのはどこでしたか。"
context = "日本は予選リーグで強豪のドイツとスペインに勝って決勝トーナメントに進んだが、クロアチアと対戦して敗れた。"
answer_pred = inference_answer(question, context)
print(answer_pred)

📚 詳細文檔

訓練過程

你可以從 這裡 下載微調的源代碼。

訓練超參數

訓練期間使用了以下超參數：

• 學習率：7e-05
• 訓練批次大小：2
• 評估批次大小：1
• 隨機種子：42
• 梯度累積步數：16
• 總訓練批次大小：32
• 優化器：Adam（β=(0.9, 0.999)，ε=1e-08）
• 學習率調度器類型：線性
• 學習率調度器熱身步數：100
• 訓練輪數：3

訓練結果

框架版本

• Transformers 4.23.1
• Pytorch 1.12.1+cu102
• Datasets 2.6.1
• Tokenizers 0.13.1

📄 許可證

本項目採用MIT許可證。