Mt5 Base Finetuned Tydiqa Question Generation

🚀 mT5-base在TyDiQA上微調用於多語言問題生成 🗺📖❓

本項目基於 Google的mT5-base 模型，在 TyDi QA（次要任務）上進行微調，以完成多語言問題生成下游任務（通過前置答案的方式）。

🚀 快速開始

本項目使用微調後的 mT5-base 模型進行多語言問題生成，可基於給定的上下文和答案生成相應的問題。

✨ 主要特性

mT5 模型詳情

Google的mT5 模型在 mC4 語料庫上進行預訓練，涵蓋了 101 種語言，具體如下：

南非荷蘭語、阿爾巴尼亞語、阿姆哈拉語、阿拉伯語、亞美尼亞語、阿塞拜疆語、巴斯克語、白俄羅斯語、孟加拉語、保加利亞語、緬甸語、加泰羅尼亞語、宿務語、齊切瓦語、中文、科西嘉語、捷克語、丹麥語、荷蘭語、英語、世界語、愛沙尼亞語、菲律賓語、芬蘭語、法語、加利西亞語、格魯吉亞語、德語、希臘語、古吉拉特語、海地克里奧爾語、豪薩語、夏威夷語、希伯來語、印地語、苗語、匈牙利語、冰島語、伊博語、印尼語、愛爾蘭語、意大利語、日語、爪哇語、卡納達語、哈薩克語、高棉語、韓語、庫爾德語、吉爾吉斯語、老撾語、拉丁語、拉脫維亞語、立陶宛語、盧森堡語、馬其頓語、馬達加斯加語、馬來語、馬拉雅拉姆語、馬耳他語、毛利語、馬拉地語、蒙古語、尼泊爾語、挪威語、普什圖語、波斯語、波蘭語、葡萄牙語、旁遮普語、羅馬尼亞語、俄語、薩摩亞語、蘇格蘭蓋爾語、塞爾維亞語、紹納語、信德語、僧伽羅語、斯洛伐克語、斯洛文尼亞語、索馬里語、南索托語、西班牙語、巽他語、斯瓦希里語、瑞典語、塔吉克語、泰米爾語、泰盧固語、泰語、土耳其語、烏克蘭語、烏爾都語、烏茲別克語、越南語、威爾士語、西弗里斯蘭語、科薩語、意第緒語、約魯巴語、祖魯語。

注意：mT5 僅在 mC4 上進行了預訓練，未進行任何有監督訓練。因此，該模型在用於下游任務之前需要進行微調。

• 預訓練數據集：mC4
• 其他社區檢查點：點擊查看
• 相關論文：mT5: A massively multilingual pre-trained text-to-text transformer
• 作者：Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, Colin Raffel

數據集詳情 📚

TyDi QA 是一個問答數據集，涵蓋 11 種類型多樣的語言，包含 204K 個問答對。TyDi QA 中的語言在類型學上具有多樣性，即每種語言所表達的語言特徵集合不同，因此我們期望在該數據集上表現良好的模型能夠在世界上大量語言中實現泛化。該數據集包含僅英語語料庫中不會出現的語言現象。為了提供真實的信息檢索任務並避免引導效應，問題由想知道答案但尚未知道答案的人編寫（與 SQuAD 及其衍生數據集不同），並且數據是直接以每種語言收集的，未使用翻譯（與 MLQA 和 XQuAD 不同）。

🔧 技術細節

驗證數據集結果 📝

相關內容正在完善中（WIP）。

模型應用 🚀

相關內容正在完善中（WIP）。

模型創建者

本模型由 Narrativa 創建。

關於 Narrativa

Narrativa 專注於自然語言生成（NLG），其基於機器學習的平臺 Gabriele 可構建和部署自然語言解決方案。#NLG #AI