Sasando 1 7M

🚀 スサンド-1

Phi-3アーキテクチャを用いて構築された、超実験的なインドネシア語の小型テキスト生成器です。限られたデータと低コストの計算資源で、生成モデルの開発を目指します。

🚀 クイックスタート

スサンド-1は、Phi-3アーキテクチャを用いて構築された、超実験的なインドネシア語の小型テキスト生成器です。パラメータ数が700万と2500万の2種類のバリエーションがあり、厳密にコントロールされたIndo4Bデータセット（たった18,000語のユニークな単語のみを含む）で学習されています。この手法は、MicrosoftのTinyStories論文にインスパイアされており、小型の言語モデルでも、厳密にコントロールされたデータセットで学習することで、流暢なテキストを生成できることを示しています。

スサンド-1は、Phi-3アーキテクチャを用いて構築された、超実験的な短シーケンスのテキスト生成器です。

❕グラディオデモへ直接移動❕

このリポジトリには700万パラメータのバージョンが含まれています

予備的な研究のプレビュー

✨ 主な機能

• 700万と2500万のパラメータの2種類のバリエーションがあります。
• Phi-3アーキテクチャに基づいています。
• 埋め込み語彙数は4096です。
• 約2億5700万トークン * 4エポックで学習されています。

🇮🇩 背景

インドネシアには700以上の言語があり、その多くが驚くほどの速度で絶滅の危機に瀕しています。生成AIなどの言語技術は、言語の保存に大きな役割を果たすことができます。しかし、インドネシアにはいくつかの状況上の問題があります。

• 何百万人もの話者を持つ言語を含む多くの言語が、デジタル資源が少ない状況にあります。
• 大規模なモデルを実行するにはコストがかかりますが、インドネシアは資金が少ない中所得国です。

これらの課題を克服するには、開発者が限られたデータと資金を最大限に活用する必要があります。スサンド-1は、限られた資源でも、低コストの計算資源で生成モデルを開発できる可能性を示すプロトタイプです。

🔭 適用範囲外の使用

これは研究用のプレビューベースモデルです。命令調整が行われておらず、安全性の面での配慮も最小限です。商業的または実用的なアプリケーションを目的としていません。

また、楽しみながら使わない限り、このモデルを使用することは許可されていません。

📄 ライセンス

• 開発者: Afrizal Hasbi Azizy
• ライセンス: MIT

学習ログ