Mbert Bengali Tydiqa Qa

🚀 mBERTベンガル語質問応答モデル

mBERT-Bengali-Tydiqa-QAは、bert-base-multilingual-uncasedモデルをtydiqaのベンガル語データセットでファインチューニングした質問応答モデルです。

🚀 クイックスタート

mBERT-Bengali-Tydiqa-QAモデルを使用することで、ベンガル語の質問に対する回答を生成できます。

✨ 主な機能

• ベンガル語の質問応答タスクに特化したモデルです。
• bert-base-multilingual-uncasedをベースに、tydiqaのベンガル語データセットでファインチューニングされています。

📦 インストール

bntransformerをインストールすることで、このモデルを使用できます。

pip install bntransformer

💻 使用例

基本的な使用法

from bntransformer import BanglaQA

bnqa = BanglaQA()
# you can custom model path or other bengali huggingface model path
# default it takes "sagorsarker/mbert-bengali-tydiqa-qa"
context = "সূর্য সেন ১৮৯৪ সালের ২২ মার্চ চট্টগ্রামের রাউজান থানার নোয়াপাড়ায় অর্থনৈতিক ভাবে অস্বচ্ছল পরিবারে জন্মগ্রহণ করেন। তাঁর পিতার নাম রাজমনি সেন এবং মাতার নাম শশী বালা সেন। রাজমনি সেনের দুই ছেলে আর চার মেয়ে। সূর্য সেন তাঁদের পরিবারের চতুর্থ সন্তান। দুই ছেলের নাম সূর্য ও কমল। চার মেয়ের নাম বরদাসুন্দরী, সাবিত্রী, ভানুমতী ও প্রমিলা। শৈশবে পিতা মাতাকে হারানো সূর্য সেন কাকা গৌরমনি সেনের কাছে মানুষ হয়েছেন। সূর্য সেন ছেলেবেলা থেকেই খুব মনোযোগী ভাল ছাত্র ছিলেন এবং ধর্মভাবাপন্ন গম্ভীর প্রকৃতির ছিলেন।"
question = "মাস্টারদা সূর্যকুমার সেনের বাবার নাম কী ছিল ?"

answers = bnqa.find_answer(context, question)
print(answers)

高度な使用法

from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline

model_name = "sagorsarker/mbert-bengali-tydiqa-qa"
model = AutoModelForQuestionAnswering.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

nlp = pipeline('question-answering', model=model_name, tokenizer=model_name)
qa_input = {
    'question': 'মাস্টারদা সূর্যকুমার সেনের বাবার নাম কী ছিল ?',
    'context': 'সূর্য সেন ১৮৯৪ সালের ২২ মার্চ চট্টগ্রামের রাউজান থানার নোয়াপাড়ায় অর্থনৈতিক ভাবে অস্বচ্ছল পরিবারে জন্মগ্রহণ করেন। তাঁর পিতার নাম রাজমনি সেন এবং মাতার নাম শশী বালা সেন। রাজমনি সেনের দুই ছেলে আর চার মেয়ে। সূর্য সেন তাঁদের পরিবারের চতুর্থ সন্তান। দুই ছেলের নাম সূর্য ও কমল। চার মেয়ের নাম বরদাসুন্দরী, সাবিত্রী, ভানুমতী ও প্রমিলা। শৈশবে পিতা মাতাকে হারানো সূর্য সেন কাকা গৌরমনি সেনের কাছে মানুষ হয়েছেন। সূর্য সেন ছেলেবেলা থেকেই খুব মনোযোগী ভাল ছাত্র ছিলেন এবং ধর্মভাবাপন্ন গম্ভীর প্রকৃতির ছিলেন।'
}
result = nlp(qa_input)
print(result)

🔧 技術詳細

• mBERT-Bengali-Tydiqa-QAモデルは、bert-base-multilingual-uncasedをベースに構築されています。
• このモデルは、tydiqaのベンガル語データセットでトレーニングされています。
• Tydiqaのベンガル語データには、2390件のトレーニングデータと113件の検証データが含まれています。
• mBERT-Bengali-Tydiqa-QAモデルは、kaggleのGPUを使用してトレーニングされました。
• このモデルは合計5エポックでトレーニングされました。
• トレーニングには、transformers/example/question-asweringのノートブックを使用し、事前学習モデルとデータセット以外はすべてデフォルト設定で行われました。

📚 ドキュメント

評価結果

トレーニングの評価結果は以下の通りです。

Exact Match: 57.52212389380531
F1 Score: 68.66183963529096

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

👥 作者

• Sagor Sarker
  • Github
  • LinkedIn