Mt5 Multitask Qa Qg Turkish

🚀 基於mT5-small的土耳其語多任務（答案提取、問題生成和問答）系統

本項目基於 Google的多語言T5-small 模型，在 土耳其語問答數據集 上進行微調，以實現三個下游任務：答案提取、問題生成和問答。該模型將這三個任務集成於一體，同時mT5模型也可用於多種文本到文本的自然語言處理任務。

所有的數據處理、訓練和管道代碼均可在我的 GitHub 倉庫中找到。我將盡快在倉庫中分享訓練細節。

mT5小模型擁有3億個參數，模型大小約為1.2GB，因此微調該模型需要花費大量時間。

訓練過程中採用了8個訓練週期、1e-4的學習率以及0個熱身步驟。這些超參數以及其他參數都可以進一步微調，以獲得更好的結果。

🚀 快速開始

📦 安裝指南

!pip install transformers==4.4.2
!pip install sentencepiece==0.1.95
!git clone https://github.com/ozcangundes/multitask-question-generation.git
%cd multitask-question-generation/

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("ozcangundes/mt5-multitask-qa-qg-turkish") 
model = AutoModelForSeq2SeqLM.from_pretrained("ozcangundes/mt5-multitask-qa-qg-turkish")

from pipelines import pipeline #pipelines.py script in the cloned repo
multimodel = pipeline("multitask-qa-qg",tokenizer=tokenizer,model=model)

#sample text
text="Özcan Gündeş, 1993 yılı Tarsus doğumludur. Orta Doğu Teknik Üniversitesi \
Endüstri Mühendisliği bölümünde 2011 2016 yılları arasında lisans eğitimi görmüştür. \
Yüksek lisansını ise 2020 Aralık ayında, 4.00 genel not ortalaması ile \
Boğaziçi Üniversitesi, Yönetim Bilişim Sistemleri bölümünde tamamlamıştır.\
Futbolla yakından ilgilenmekle birlikte, Galatasaray kulübü taraftarıdır."

高級用法

問題生成與問答示例

multimodel(text)

#output
=> [{'answer': 'Tarsus', 'question': 'Özcan Gündeş nerede doğmuştur?'},
 {'answer': '1993', 'question': 'Özcan Gündeş kaç yılında doğmuştur?'},
 {'answer': '2011 2016',
  'question': 'Özcan Gündeş lisans eğitimini hangi yıllar arasında tamamlamıştır?'},
 {'answer': 'Boğaziçi Üniversitesi, Yönetim Bilişim Sistemleri',
  'question': 'Özcan Gündeş yüksek lisansını hangi bölümde tamamlamıştır?'},
 {'answer': 'Galatasaray kulübü',
  'question': 'Özcan Gündeş futbolla yakından ilgilenmekle birlikte hangi kulübü taraftarıdır?'}]

從這段文本中，模型生成了5個問題並給出了相應的答案。

問答示例

需要將文本和相關問題同時傳入管道。

multimodel({"context":text,"question":"Özcan hangi takımı tutmaktadır?"})

#output
=> Galatasaray

multimodel({"context":text,"question":"Özcan, yüksek lisanstan ne zaman mezun oldu?"})

#output
=> 2020 Aralık ayında


multimodel({"context":text,"question":"Özcan'ın yüksek lisans bitirme notu kaçtır?"})

#output
=> 4.00 

#Sorry for being cocky 😝😝

📚 詳細文檔

📄 許可證

本項目採用Apache-2.0許可證。

🔗 致謝

本項目受到了 Suraj Patil的優秀倉庫 的啟發。感謝他提供的簡潔代碼，同時感謝 Okan Çiftçi 提供的土耳其語數據集。🙏