Mt5 Base

🚀 Google的mT5模型

mT5是一個多語言預訓練模型，它基於mC4語料庫進行預訓練，覆蓋了101種語言，能為多語言自然語言處理任務提供強大支持。

🚀 快速開始

mT5基於Google's mT5實現，在mC4語料庫上進行預訓練，該語料庫涵蓋了以下101種語言：

南非荷蘭語、阿爾巴尼亞語、阿姆哈拉語、阿拉伯語、亞美尼亞語、阿塞拜疆語、巴斯克語、白俄羅斯語、孟加拉語、保加利亞語、緬甸語、加泰羅尼亞語、宿務語、齊切瓦語、中文、科西嘉語、捷克語、丹麥語、荷蘭語、英語、世界語、愛沙尼亞語、菲律賓語、芬蘭語、法語、加利西亞語、格魯吉亞語、德語、希臘語、古吉拉特語、海地克里奧爾語、豪薩語、夏威夷語、希伯來語、印地語、苗語、匈牙利語、冰島語、伊博語、印尼語、愛爾蘭語、意大利語、日語、爪哇語、卡納達語、哈薩克語、高棉語、韓語、庫爾德語、吉爾吉斯語、老撾語、拉丁語、拉脫維亞語、立陶宛語、盧森堡語、馬其頓語、馬達加斯加語、馬來語、馬拉雅拉姆語、馬耳他語、毛利語、馬拉地語、蒙古語、尼泊爾語、挪威語、普什圖語、波斯語、波蘭語、葡萄牙語、旁遮普語、羅馬尼亞語、俄語、薩摩亞語、蘇格蘭蓋爾語、塞爾維亞語、紹納語、信德語、僧伽羅語、斯洛伐克語、斯洛文尼亞語、索馬里語、索托語、西班牙語、巽他語、斯瓦希里語、瑞典語、塔吉克語、泰米爾語、泰盧固語、泰語、土耳其語、烏克蘭語、烏爾都語、烏茲別克語、越南語、威爾士語、西弗里斯蘭語、科薩語、意第緒語、約魯巴語、祖魯語。

注意：mT5僅在mC4語料庫上進行了預訓練，未進行任何有監督訓練。因此，該模型在用於下游任務之前必須進行微調。

📚 詳細文檔

預訓練數據集

預訓練數據集為mC4。

其他社區檢查點

其他社區檢查點可在此處找到。

相關論文

論文鏈接：mT5: A massively multilingual pre-trained text-to-text transformer

論文作者

作者包括：Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, Colin Raffel

摘要

近期的“文本到文本轉換變壓器”（T5）利用統一的文本到文本格式和規模，在各種英語自然語言處理任務中取得了最先進的成果。在本文中，我們介紹了mT5，它是T5的多語言變體，在一個新的基於Common Crawl的涵蓋101種語言的數據集上進行了預訓練。我們描述了mT5的設計和改進的訓練過程，並展示了它在許多多語言基準測試中的最先進性能。本研究中使用的所有代碼和模型檢查點均公開可用。

📄 許可證

本項目採用Apache 2.0許可證。