Mgpt 1.3B Kazakh

🚀 🇰🇿 哈薩克語 mGPT 1.3B

哈薩克語 mGPT 1.3B 是一款專為哈薩克語設計的語言模型。從名稱可以看出，該模型擁有 13 億個參數。哈薩克語屬於突厥語族，是一種充滿活力的語言，約有 1800 萬使用者。以下是關於哈薩克語的一些信息：

1. 它是哈薩克斯坦的主要語言。
2. 哈薩克語有自己的西裡爾字母版本，但正在向拉丁字母過渡。
3. 它擁有豐富的口頭文學傳統，包括史詩詩歌。

✨ 主要特性

• 專為哈薩克語打造，能更好地處理該語言相關的任務。
• 基於強大的基礎模型進行進一步調優，具備較好的性能。

🔧 技術細節

哈薩克語 mGPT 1.3B 是基於基礎 [mGPT - XL (1.3B)](https://huggingface.co/ai - forever/mGPT) 模型派生而來的模型之一（見以下列表）。基礎模型最初使用維基百科和 C4 語料庫，在來自 25 個語系的 61 種語言上進行訓練。

我們為 23 種語言找到了額外的數據，其中大多數被認為是小語種，並決定進一步微調基礎模型。哈薩克語 mGPT 1.3B 在 1 塊 A100 顯卡上，以 batch_size = 4 和 2048 個標記的上下文窗口，額外訓練了 150000 步。

該模型在驗證集上的最終困惑度為 3.38。

訓練損失和困惑度圖表：

📚 詳細文檔

其他 mGPT - 1.3B 模型

• [🇦🇲 mGPT - 1.3B 亞美尼亞語](https://huggingface.co/ai - forever/mGPT - 1.3B - armenian)
• [🇦🇿 mGPT - 1.3B 阿塞拜疆語](https://huggingface.co/ai - forever/mGPT - 1.3B - azerbaijan)
• [🍯 mGPT - 1.3B 巴什基爾語](https://huggingface.co/ai - forever/mGPT - 1.3B - bashkir)
• [🇧🇾 mGPT - 1.3B 白俄羅斯語](https://huggingface.co/ai - forever/mGPT - 1.3B - belorussian)
• [🇧🇬 mGPT - 1.3B 保加利亞語](https://huggingface.co/ai - forever/mGPT - 1.3B - bulgarian)
• [🌞 mGPT - 1.3B 布里亞特語](https://huggingface.co/ai - forever/mGPT - 1.3B - buryat)
• [🌳 mGPT - 1.3B 楚瓦什語](https://huggingface.co/ai - forever/mGPT - 1.3B - chuvash)
• [🇬🇪 mGPT - 1.3B 格魯吉亞語](https://huggingface.co/ai - forever/mGPT - 1.3B - georgian)
• [🌸 mGPT - 1.3B 卡爾梅克語](https://huggingface.co/ai - forever/mGPT - 1.3B - kalmyk)
• [🇰🇬 mGPT - 1.3B 吉爾吉斯語](https://huggingface.co/ai - forever/mGPT - 1.3B - kirgiz)
• [🐻 mGPT - 1.3B 馬里語](https://huggingface.co/ai - forever/mGPT - 1.3B - mari)
• [🇲🇳 mGPT - 1.3B 蒙古語](https://huggingface.co/ai - forever/mGPT - 1.3B - mongol)
• [🐆 mGPT - 1.3B 奧塞梯語](https://huggingface.co/ai - forever/mGPT - 1.3B - ossetian)
• [🇮🇷 mGPT - 1.3B 波斯語](https://huggingface.co/ai - forever/mGPT - 1.3B - persian)
• [🇷🇴 mGPT - 1.3B 羅馬尼亞語](https://huggingface.co/ai - forever/mGPT - 1.3B - romanian)
• [🇹🇯 mGPT - 1.3B 塔吉克語](https://huggingface.co/ai - forever/mGPT - 1.3B - tajik)
• [☕ mGPT - 1.3B 韃靼語](https://huggingface.co/ai - forever/mGPT - 1.3B - tatar)
• [🇹🇲 mGPT - 1.3B 土庫曼語](https://huggingface.co/ai - forever/mGPT - 1.3B - turkmen)
• [🐎 mGPT - 1.3B 圖瓦語](https://huggingface.co/ai - forever/mGPT - 1.3B - tuvan)
• [🇺🇦 mGPT - 1.3B 烏克蘭語](https://huggingface.co/ai - forever/mGPT - 1.3B - ukranian)
• [🇺🇿 mGPT - 1.3B 烏茲別克語](https://huggingface.co/ai - forever/mGPT - 1.3B - uzbek)
• [💎 mGPT - 1.3B 雅庫特語](https://huggingface.co/ai - forever/mGPT - 1.3B - yakut)

📄 許可證

本項目採用 MIT 許可證。

📝 反饋

如果您發現了模型的 bug 或者有用於訓練您所在語言模型的額外數據，請向我們反饋。模型會隨著時間不斷改進，敬請關注！