Mgpt 1.3B Tatar

🚀 韃靼語 mGPT 1.3B

韃靼語 mGPT 1.3B 是一款針對韃靼語的語言模型。從名稱可以看出，該模型擁有 13 億個參數。

韃靼語屬於突厥語族，是一種富有韻律的語言，約有 530 萬使用者。以下是關於韃靼語的一些信息：

1. 主要由韃靼人使用，主要分佈在俄羅斯的韃靼斯坦共和國。
2. 歷史上，韃靼語曾使用過阿拉伯文和西里爾文兩種文字，不過拉丁字母也逐漸流行起來。
3. 韃靼人擁有豐富的歷史，尤其在 13 - 15 世紀與金帳汗國有著緊密的聯繫。

🔧 技術細節

韃靼語 mGPT 1.3B 是基於基礎 [mGPT - XL (1.3B)](https://huggingface.co/ai - forever/mGPT) 模型派生而來的（見以下列表）。基礎模型最初使用維基百科和 C4 語料庫，在來自 25 個語系的 61 種語言上進行訓練。

我們為 23 種語言找到了額外的數據，其中大部分被認為是小語種，並決定進一步微調基礎模型。韃靼語 mGPT 1.3B 在 1 塊 A100 顯卡上，以 batch_size = 4 和 2048 個詞元的上下文窗口，額外訓練了 5000 步。

該模型在驗證集上的最終困惑度為 3.69。

訓練損失和困惑度圖表：

其他 mGPT - 1.3B 模型

• [🇦🇲 mGPT - 1.3B 亞美尼亞語](https://huggingface.co/ai - forever/mGPT - 1.3B - armenian)
• [🇦🇿 mGPT - 1.3B 阿塞拜疆語](https://huggingface.co/ai - forever/mGPT - 1.3B - azerbaijan)
• [🍯 mGPT - 1.3B 巴什基爾語](https://huggingface.co/ai - forever/mGPT - 1.3B - bashkir)
• [🇧🇾 mGPT - 1.3B 白俄羅斯語](https://huggingface.co/ai - forever/mGPT - 1.3B - belorussian)
• [🇧🇬 mGPT - 1.3B 保加利亞語](https://huggingface.co/ai - forever/mGPT - 1.3B - bulgarian)
• [🌞 mGPT - 1.3B 布里亞特語](https://huggingface.co/ai - forever/mGPT - 1.3B - buryat)
• [🌳 mGPT - 1.3B 楚瓦什語](https://huggingface.co/ai - forever/mGPT - 1.3B - chuvash)
• [🇬🇪 mGPT - 1.3B 格魯吉亞語](https://huggingface.co/ai - forever/mGPT - 1.3B - georgian)
• [🌸 mGPT - 1.3B 卡爾梅克語](https://huggingface.co/ai - forever/mGPT - 1.3B - kalmyk)
• [🇰🇿 mGPT - 1.3B 哈薩克語](https://huggingface.co/ai - forever/mGPT - 1.3B - kazakh)
• [🇰🇬 mGPT - 1.3B 吉爾吉斯語](https://huggingface.co/ai - forever/mGPT - 1.3B - kirgiz)
• [🐻 mGPT - 1.3B 馬里語](https://huggingface.co/ai - forever/mGPT - 1.3B - mari)
• [🇲🇳 mGPT - 1.3B 蒙古語](https://huggingface.co/ai - forever/mGPT - 1.3B - mongol)
• [🐆 mGPT - 1.3B 奧塞梯語](https://huggingface.co/ai - forever/mGPT - 1.3B - ossetian)
• [🇮🇷 mGPT - 1.3B 波斯語](https://huggingface.co/ai - forever/mGPT - 1.3B - persian)
• [🇷🇴 mGPT - 1.3B 羅馬尼亞語](https://huggingface.co/ai - forever/mGPT - 1.3B - romanian)
• [🇹🇯 mGPT - 1.3B 塔吉克語](https://huggingface.co/ai - forever/mGPT - 1.3B - tajik)
• [🇹🇲 mGPT - 1.3B 土庫曼語](https://huggingface.co/ai - forever/mGPT - 1.3B - turkmen)
• [🐎 mGPT - 1.3B 圖瓦語](https://huggingface.co/ai - forever/mGPT - 1.3B - tuvan)
• [🇺🇦 mGPT - 1.3B 烏克蘭語](https://huggingface.co/ai - forever/mGPT - 1.3B - ukranian)
• [🇺🇿 mGPT - 1.3B 烏茲別克語](https://huggingface.co/ai - forever/mGPT - 1.3B - uzbek)
• [💎 mGPT - 1.3B 雅庫特語](https://huggingface.co/ai - forever/mGPT - 1.3B - yakut)

📄 許可證

本模型採用 MIT 許可證。

💬 反饋

如果您發現了模型的漏洞，或者有用於訓練您所在語言模型的額外數據，請向我們反饋。

模型將不斷改進，敬請關注！