Vi Mrc Base

🚀 質問応答モデル

このモデルは、ベトナム語と英語に対応した質問応答タスクを行うためのモデルです。多言語のデータセットを用いて学習され、高精度な応答を提供します。

✨ 主な機能

• ベースモデルとしてXLM - RoBERTaを使用。
• MRCQuestionAnsweringを用いたファインチューニング。
• ベトナム語と英語の両方に対応した抽出型質問応答タスク。
• 複数の英語とベトナム語のデータセットを組み合わせて学習。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

from transformers import pipeline
# model_checkpoint = "nguyenvulebinh/vi-mrc-large"
model_checkpoint = "nguyenvulebinh/vi-mrc-base"
nlp = pipeline('question-answering', model=model_checkpoint,
                   tokenizer=model_checkpoint)
QA_input = {
  'question': "Bình là chuyên gia về gì ?",
  'context': "Bình Nguyễn là một người đam mê với lĩnh vực xử lý ngôn ngữ tự nhiên . Anh nhận chứng chỉ Google Developer Expert năm 2020"
}
res = nlp(QA_input)
print('pipeline: {}'.format(res))
#{'score': 0.5782045125961304, 'start': 45, 'end': 68, 'answer': 'xử lý ngôn ngữ tự nhiên'}

高度な使用法

from infer import tokenize_function, data_collator, extract_answer
from model.mrc_model import MRCQuestionAnswering
from transformers import AutoTokenizer

# model_checkpoint = "nguyenvulebinh/vi-mrc-large"
model_checkpoint = "nguyenvulebinh/vi-mrc-base"
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = MRCQuestionAnswering.from_pretrained(model_checkpoint)

QA_input = {
  'question': "Bình được công nhận với danh hiệu gì ?",
  'context': "Bình Nguyễn là một người đam mê với lĩnh vực xử lý ngôn ngữ tự nhiên . Anh nhận chứng chỉ Google Developer Expert năm 2020"
}

inputs = [tokenize_function(*QA_input)]
inputs_ids = data_collator(inputs)
outputs = model(**inputs_ids)
answer = extract_answer(inputs, outputs, tokenizer)

print(answer)
# answer: Google Developer Expert. Score start: 0.9926977753639221, Score end: 0.9909810423851013

📚 ドキュメント

モデルの詳細

• 言語モデル: XLM - RoBERTa
• ファインチューニング: MRCQuestionAnswering
• 言語: ベトナム語、英語
• 下流タスク: 抽出型質問応答
• データセット（英語とベトナム語を組み合わせたもの）:
  • Squad 2.0
  • mailong25
  • UIT - ViQuAD
  • MultiLingual Question Answering

このモデルは主にベトナム語の質問応答に使用することを想定していますが、英語にも対応しています。評価結果はベトナム語データセットの10%を使用しています。

モデルの特徴

MRCQuestionAnsweringはXLM - RoBERTaを事前学習モデルとして使用しています。デフォルトでは、XLM - RoBERTaは単語をサブワードに分割しますが、この実装ではBERT層によってエンコードされた後のサブワード表現を合計戦略を用いて単語表現に再結合しています。

🔧 技術詳細

このREADMEには具体的な技術実装の詳細が十分に記載されていないため、このセクションをスキップします。

📄 ライセンス

このモデルはcc - by - nc - 4.0ライセンスの下で提供されています。

About

Built by Binh Nguyen 詳細については、プロジェクトのリポジトリを参照してください。