Sasando 1 7M

🚀 Sasando-1：低資源語言模型的探索

Sasando-1是一款基於Phi - 3架構構建的超小型、高度實驗性的印尼語文本生成器。它為低資源語言的生成式模型開發提供了新的思路，有望在資源有限的情況下助力語言保護工作。

🚀 快速開始

點擊下方鏈接，直接體驗Sasando-1的Gradio演示： ❕直接前往Gradio演示❕

✨ 主要特性

• 超小尺寸參數：提供700萬和2500萬參數兩種超小尺寸的版本。
• 特定架構：基於Phi - 3架構構建。
• 有限詞彙訓練：嵌入詞彙量為4096，在嚴格控制的Indo4B數據集上進行訓練，該數據集僅包含18000個獨特詞彙。
• 訓練數據：在約2.57億個標記上進行了4個輪次的訓練。

📚 詳細文檔

🎻 項目介紹

Sasando-1是一個使用Phi - 3架構構建的小型、高度實驗性的印尼語文本生成器。它有兩種超小尺寸的變體：700萬和2500萬參數。它在經過嚴格控制的Indo4B數據集上進行訓練，該數據集經過篩選，僅包含18000個獨特的單詞。這種方法受到了微軟的TinyStories論文的啟發，該論文表明，當在嚴格控制的數據集上進行訓練時，小型語言模型可以生成流暢的文本。

🇮🇩 項目背景

印度尼西亞擁有700多種語言，其中許多語言正以驚人的速度消失。像生成式AI這樣的語言技術在語言保護方面可以發揮巨大作用。然而，印度尼西亞存在一些實際問題：

• 許多語言，包括那些有數百萬人使用的語言，數字資源量較少。
• 運行大型模型成本高昂，而印度尼西亞是一箇中等收入國家，資金有限。

克服這些挑戰需要開發者充分利用有限的數據和資金。Sasando - 1是一個典型的示例，表明即使資源稀缺，也有可能利用廉價計算資源開發生成式模型。

🔭 適用範圍說明

這是一個研究預覽基礎模型，未進行指令調優，且安全審查有限。它不適合用於商業或實際應用。同時，使用此模型時請保持探索的樂趣。

📄 許可證

本項目採用MIT許可證。

致謝

• 開發者：Afrizal Hasbi Azizy
• 許可證：MIT

訓練日誌

項目展示

本倉庫包含700萬參數版本。這是初步研究預覽。