Mt5 Multitask Qa Qg Turkish

🚀 mT5-smallベースのトルコ語マルチタスク（回答抽出、質問生成、質問応答）システム

このモデルは、GoogleのMultilingual T5-small を トルコ語質問応答データセット でファインチューニングし、回答抽出、質問生成、質問応答 という3つの下流タスクを単一のモデルで提供します。mT5モデルは、複数のtext2textの自然言語処理タスクに対しても学習されています。

すべてのデータ処理、トレーニング、パイプラインのコードは、私の GitHub で見ることができます。できるだけ早く、トレーニングの詳細をリポジトリに共有します。

mT5 smallモデルは3億個のパラメータを持ち、モデルサイズは約1.2GBです。そのため、ファインチューニングにはかなりの時間がかかります。

トレーニング中は、8エポック、学習率1e-4、ウォームアップステップ0で行われました。これらのハイパーパラメータやその他のパラメータを調整することで、さらに良い結果を得ることができます。

🚀 クイックスタート

📦 インストール

!pip install transformers==4.4.2
!pip install sentencepiece==0.1.95
!git clone https://github.com/ozcangundes/multitask-question-generation.git
%cd multitask-question-generation/

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("ozcangundes/mt5-multitask-qa-qg-turkish") 
model = AutoModelForSeq2SeqLM.from_pretrained("ozcangundes/mt5-multitask-qa-qg-turkish")

from pipelines import pipeline #pipelines.py script in the cloned repo
multimodel = pipeline("multitask-qa-qg",tokenizer=tokenizer,model=model)

#sample text
text="Özcan Gündeş, 1993 yılı Tarsus doğumludur. Orta Doğu Teknik Üniversitesi \\\\
Endüstri Mühendisliği bölümünde 2011 2016 yılları arasında lisans eğitimi görmüştür. \\\\
Yüksek lisansını ise 2020 Aralık ayında, 4.00 genel not ortalaması ile \\\\
Boğaziçi Üniversitesi, Yönetim Bilişim Sistemleri bölümünde tamamlamıştır.\\\\
Futbolla yakından ilgilenmekle birlikte, Galatasaray kulübü taraftarıdır."

高度な使用法

質問生成と質問応答の両方

multimodel(text)

#output
=> [{'answer': 'Tarsus', 'question': 'Özcan Gündeş nerede doğmuştur?'},
 {'answer': '1993', 'question': 'Özcan Gündeş kaç yılında doğmuştur?'},
 {'answer': '2011 2016',
  'question': 'Özcan Gündeş lisans eğitimini hangi yıllar arasında tamamlamıştır?'},
 {'answer': 'Boğaziçi Üniversitesi, Yönetim Bilişim Sistemleri',
  'question': 'Özcan Gündeş yüksek lisansını hangi bölümde tamamlamıştır?'},
 {'answer': 'Galatasaray kulübü',
  'question': 'Özcan Gündeş futbolla yakından ilgilenmekle birlikte hangi kulübü taraftarıdır?'}]

このテキストから5つの質問が生成され、モデルによって回答されます。

質問応答

テキストと関連する質問の両方をパイプラインに渡す必要があります。

multimodel({"context":text,"question":"Özcan hangi takımı tutmaktadır?"})

#output
=> Galatasaray

multimodel({"context":text,"question":"Özcan, yüksek lisanstan ne zaman mezun oldu?"})

#output
=> 2020 Aralık ayında


multimodel({"context":text,"question":"Özcan'ın yüksek lisans bitirme notu kaçtır?"})

#output
=> 4.00 

#Sorry for being cocky 😝😝

📚 ドキュメント

🔧 技術詳細

mT5 smallモデルは3億個のパラメータを持ち、モデルサイズは約1.2GBです。トレーニング中は、8エポック、学習率1e-4、ウォームアップステップ0で行われました。これらのハイパーパラメータやその他のパラメータを調整することで、さらに良い結果を得ることができます。

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で公開されています。

謝辞

この作品は、Suraj Patilの素晴らしいリポジトリ から着想を得ています。クリーンなコードを提供してくれた彼と、トルコ語データセットを提供してくれた Okan Çiftçi に感謝します🙏。

情報テーブル

| 属性 | 详情 |
|------|------|
| モデルタイプ | mT5-smallベースのトルコ語マルチタスク（回答抽出、質問生成、質問応答）システム |
| トレーニングデータ | [トルコ語質問応答データセット](https://github.com/okanvk/Turkish-Reading-Comprehension-Question-Answering-Dataset) |