Mbert Bengali Tydiqa Qa

🚀 mBERT孟加拉語問答模型

本項目的mBERT-Bengali-Tydiqa-QA是一個問答模型，它基於bert-base-multilingual-uncased模型，使用tydiqa孟加拉語數據集進行了微調。

🚀 快速開始

✨ 主要特性

• 基於多語言預訓練模型bert-base-multilingual-uncased，具備良好的泛化能力。
• 使用tydiqa孟加拉語數據集進行微調，針對孟加拉語問答任務進行了優化。

📦 安裝指南

你可以使用 bntransformer 工具。

pip install bntransformer

💻 使用示例

基礎用法

from bntransformer import BanglaQA

bnqa = BanglaQA()
# 你可以自定義模型路徑或其他孟加拉語Hugging Face模型路徑
# 默認使用 "sagorsarker/mbert-bengali-tydiqa-qa"
context = "সূর্য সেন ১৮৯৪ সালের ২২ মার্চ চট্টগ্রামের রাউজান থানার নোয়াপাড়ায় অর্থনৈতিক ভাবে অস্বচ্ছল পরিবারে জন্মগ্রহণ করেন। তাঁর পিতার নাম রাজমনি সেন এবং মাতার নাম শশী বালা সেন। রাজমনি সেনের দুই ছেলে আর চার মেয়ে। সূর্য সেন তাঁদের পরিবারের চতুর্থ সন্তান। দুই ছেলের নাম সূর্য ও কমল। চার মেয়ের নাম বরদাসুন্দরী, সাবিত্রী, ভানুমতী ও প্রমিলা। শৈশবে পিতা মাতাকে হারানো সূর্য সেন কাকা গৌরমনি সেনের কাছে মানুষ হয়েছেন। সূর্য সেন ছেলেবেলা থেকেই খুব মনোযোগী ভাল ছাত্র ছিলেন এবং ধর্মভাবাপন্ন গম্ভীর প্রকৃতির ছিলেন।"
question = "মাস্টারদা সূর্যকুমার সেনের বাবার নাম কী ছিল ?"

answers = bnqa.find_answer(context, question)
print(answers)

高級用法

使用Transformers QA Pipeline：

from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline

model_name = "sagorsarker/mbert-bengali-tydiqa-qa"
model = AutoModelForQuestionAnswering.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

nlp = pipeline('question-answering', model=model_name, tokenizer=model_name)
qa_input = {
    'question': 'মাস্টারদা সূর্যকুমার সেনের বাবার নাম কী ছিল ?',
    'context': 'সূর্য সেন ১৮৯৪ সালের ২২ মার্চ চট্টগ্রামের রাউজান থানার নোয়াপাড়ায় অর্থনৈতিক ভাবে অস্বচ্ছল পরিবারে জন্মগ্রহণ করেন। তাঁর পিতার নাম রাজমনি সেন এবং মাতার নাম শশী বালা সেন। রাজমনি সেনের দুই ছেলে আর চার মেয়ে। সূর্য সেন তাঁদের পরিবারের চতুর্থ সন্তান। দুই ছেলের নাম সূর্য ও কমল। চার মেয়ের নাম বরদাসুন্দরী, সাবিত্রী, ভানুমতী ও প্রমিলা। শৈশবে পিতা মাতাকে হারানো সূর্য সেন কাকা গৌরমনি সেনের কাছে মানুষ হয়েছেন। সূর্য সেন ছেলেবেলা থেকেই খুব মনোযোগী ভাল ছাত্র ছিলেন এবং ধর্মভাবাপন্ন গম্ভীর প্রকৃতির ছিলেন।'
}
result = nlp(qa_input)
print(result)

🔧 技術細節

• 模型構建：mBERT-Bengali-Tydiqa-QA 模型基於 bert-base-multilingual-uncased 構建。
• 訓練數據：使用 tydiqa 孟加拉語數據集進行訓練，該數據集包含 2390 條訓練數據 和 113 條驗證數據。
• 訓練環境：在 kaggle 的 GPU 上進行訓練。
• 訓練輪數：總共訓練了 5 個輪次。
• 訓練配置：使用 transformers/example/question-aswering 筆記本進行訓練，除了預訓練模型和數據集部分，其餘均使用默認設置。

📚 詳細文檔

評估結果

以下是訓練評估部分的結果：

Exact Match: 57.52212389380531
F1 Score: 68.66183963529096

📄 許可證

本項目採用 MIT 許可證。

👥 作者信息

• Sagor Sarker
  • Github
  • LinkedIn