Mgpt 1.3B Ukranian

🚀 烏克蘭語 mGPT 1.3B

這是一個用於烏克蘭語的語言模型。從名稱中你可以猜到，該模型擁有 13 億個參數。

烏克蘭語屬於印歐語系。這是一種非常優美動聽的語言，大約有 4000 萬使用者。以下是關於它的一些事實：

1. 它是東斯拉夫語族的語言之一，與俄語和白俄羅斯語並列。
2. 它是烏克蘭的官方語言，使用西裡爾字母的一種變體書寫。
3. 烏克蘭語擁有豐富的文學歷史，在文化領域，尤其是詩歌和音樂方面，一直保持著活躍的影響力。

✨ 主要特性

• 專為烏克蘭語設計的語言模型。
• 基於擁有 13 億參數的基礎模型進行訓練。

🔧 技術細節

該模型是從基礎 [mGPT - XL (13 億)](https://huggingface.co/ai - forever/mGPT) 模型派生而來的（見下面的列表）。基礎模型最初使用維基百科和 C4 語料庫，在來自 25 個語系的 61 種語言上進行訓練。

我們為 23 種語言找到了額外的數據，其中大多數被認為是小語種，並決定進一步微調基礎模型。烏克蘭語 mGPT 1.3B 在 1 個 A100 顯卡上，以 batch_size = 4 和 2048 個標記的上下文窗口，額外訓練了 10000 步。

該模型在驗證集上的最終困惑度為 7.1。

訓練損失和困惑度圖表：

📚 詳細文檔

其他 mGPT - 1.3B 模型

• [🇦🇲 mGPT - 1.3B 亞美尼亞語](https://huggingface.co/ai - forever/mGPT - 1.3B - armenian)
• [🇦🇿 mGPT - 1.3B 阿塞拜疆語](https://huggingface.co/ai - forever/mGPT - 1.3B - azerbaijan)
• [🍯 mGPT - 1.3B 巴什基爾語](https://huggingface.co/ai - forever/mGPT - 1.3B - bashkir)
• [🇧🇾 mGPT - 1.3B 白俄羅斯語](https://huggingface.co/ai - forever/mGPT - 1.3B - belorussian)
• [🇧🇬 mGPT - 1.3B 保加利亞語](https://huggingface.co/ai - forever/mGPT - 1.3B - bulgarian)
• [🌞 mGPT - 1.3B 布里亞特語](https://huggingface.co/ai - forever/mGPT - 1.3B - buryat)
• [🌳 mGPT - 1.3B 楚瓦什語](https://huggingface.co/ai - forever/mGPT - 1.3B - chuvash)
• [🇬🇪 mGPT - 1.3B 格魯吉亞語](https://huggingface.co/ai - forever/mGPT - 1.3B - georgian)
• [🌸 mGPT - 1.3B 卡爾梅克語](https://huggingface.co/ai - forever/mGPT - 1.3B - kalmyk)
• [🇰🇿 mGPT - 1.3B 哈薩克語](https://huggingface.co/ai - forever/mGPT - 1.3B - kazakh)
• [🇰🇬 mGPT - 1.3B 吉爾吉斯語](https://huggingface.co/ai - forever/mGPT - 1.3B - kirgiz)
• [🐻 mGPT - 1.3B 馬里語](https://huggingface.co/ai - forever/mGPT - 1.3B - mari)
• [🇲🇳 mGPT - 1.3B 蒙古語](https://huggingface.co/ai - forever/mGPT - 1.3B - mongol)
• [🐆 mGPT - 1.3B 奧塞梯語](https://huggingface.co/ai - forever/mGPT - 1.3B - ossetian)
• [🇮🇷 mGPT - 1.3B 波斯語](https://huggingface.co/ai - forever/mGPT - 1.3B - persian)
• [🇷🇴 mGPT - 1.3B 羅馬尼亞語](https://huggingface.co/ai - forever/mGPT - 1.3B - romanian)
• [🇹🇯 mGPT - 1.3B 塔吉克語](https://huggingface.co/ai - forever/mGPT - 1.3B - tajik)
• [☕ mGPT - 1.3B 韃靼語](https://huggingface.co/ai - forever/mGPT - 1.3B - tatar)
• [🇹🇲 mGPT - 1.3B 土庫曼語](https://huggingface.co/ai - forever/mGPT - 1.3B - turkmen)
• [🐎 mGPT - 1.3B 圖瓦語](https://huggingface.co/ai - forever/mGPT - 1.3B - tuvan)
• [🇺🇿 mGPT - 1.3B 烏茲別克語](https://huggingface.co/ai - forever/mGPT - 1.3B - uzbek)
• [💎 mGPT - 1.3B 雅庫特語](https://huggingface.co/ai - forever/mGPT - 1.3B - yakut)

📄 許可證

本項目採用 MIT 許可證。

💡 使用建議

如果你發現了一個漏洞，或者有額外的數據可用於在你的語言上訓練模型 —— 請給我們反饋。

模型將隨著時間的推移不斷改進，請持續關注！