Mgpt 1.3B Yakut

🚀 💎 雅庫特 mGPT 1.3B

雅庫特語語言模型。從名稱可以猜到，該模型擁有 13 億個參數。

雅庫特語屬於突厥語族。這是一種底蘊深厚的語言，大約有 50 萬使用者。以下是關於它的一些事實：

1. 它也被稱為薩哈語。
2. 它在俄羅斯的薩哈共和國使用。
3. 儘管屬於突厥語族，但它受到了通古斯語系的影響。

🚀 快速開始

本部分暫未提供相關內容，你可以根據模型的使用方法等補充如何快速開始使用該模型的內容。

✨ 主要特性

該模型是專門為雅庫特語設計的語言模型，擁有 13 億參數，能夠處理雅庫特語相關的語言任務。

🔧 技術細節

它是基於基礎 mGPT-XL (1.3B) 模型派生出來的模型之一（見下面的列表），該基礎模型最初使用維基百科和 C4 語料庫在來自 25 個語系的 61 種語言上進行訓練。

我們為 23 種語言找到了額外的數據，其中大多數被認為是小語種，並決定進一步微調基礎模型。雅庫特 mGPT 1.3B 在 1 塊 A100 顯卡上以 batch_size=4 和 2048 個標記的上下文窗口進行了另外 2000 步的訓練。

該模型在驗證集上的最終困惑度為 10.65。

訓練損失和困惑度圖表:

📚 詳細文檔

其他 mGPT - 1.3B 模型

• 🇦🇲 mGPT - 1.3B 亞美尼亞語
• 🇦🇿 mGPT - 1.3B 阿塞拜疆語
• 🍯 mGPT - 1.3B 巴什基爾語
• 🇧🇾 mGPT - 1.3B 白俄羅斯語
• 🇧🇬 mGPT - 1.3B 保加利亞語
• 🌞 mGPT - 1.3B 布里亞特語
• 🌳 mGPT - 1.3B 楚瓦什語
• 🇬🇪 mGPT - 1.3B 格魯吉亞語
• 🌸 mGPT - 1.3B 卡爾梅克語
• 🇰🇿 mGPT - 1.3B 哈薩克語
• 🇰🇬 mGPT - 1.3B 吉爾吉斯語
• 🐻 mGPT - 1.3B 馬里語
• 🇲🇳 mGPT - 1.3B 蒙古語
• 🐆 mGPT - 1.3B 奧塞梯語
• 🇮🇷 mGPT - 1.3B 波斯語
• 🇷🇴 mGPT - 1.3B 羅馬尼亞語
• 🇹🇯 mGPT - 1.3B 塔吉克語
• ☕ mGPT - 1.3B 韃靼語
• 🇹🇲 mGPT - 1.3B 土庫曼語
• 🐎 mGPT - 1.3B 圖瓦語
• 🇺🇦 mGPT - 1.3B 烏克蘭語
• 🇺🇿 mGPT - 1.3B 烏茲別克語

📄 許可證

本項目採用 MIT 許可證。

💡 反饋

如果你發現了 bug 或者有額外的數據可以用於在你的語言上訓練模型 — 請給我們反饋。

模型會隨著時間不斷改進。請持續關注！