Sasando 1 25M

🚀 スサンド-1

Phi-3アーキテクチャを使用して構築された、超実験的なインドネシア語の小型テキスト生成モデルです。限られたデータと低コストの計算資源で、生成モデルの開発を目指します。

🚀 クイックスタート

スサンド-1は、Phi-3アーキテクチャを使用して構築された、超実験的なインドネシア語の小型テキスト生成モデルです。700を超える言語が存在し、多くの言語が急速に衰退しているインドネシアにおいて、限られたデジタル資源と低コストの計算環境で、生成AI技術を用いた言語保存を目指して開発されました。

スサンド-1は、Phi-3アーキテクチャを使用して構築された小型の短シーケンステキスト生成モデルです。

❕グラディオデモへ直接移動❕

このリポジトリには25Mバージョンが含まれています

予備的な研究のプレビュー

✨ 主な機能

小型で多様なパラメータサイズ

• 7Mと25Mの2種類の微小なパラメータサイズのバリエーションがあります。

アーキテクチャ

• Phi-3アーキテクチャに基づいています。

ボキャブラリ

• 埋め込みボキャブラリは4096です。

学習データ

• 約2億5700万トークン * 4エポックで学習されています。

📚 ドキュメント

🇮🇩 背景

インドネシアには700以上の言語があり、その多くが驚くほどの速度で衰退しています。生成AIのような言語技術は、言語の保存に大きな役割を果たすことができます。しかし、インドネシアにはいくつかの問題があります。

• 何百万人もの話者がいる言語を含む多くの言語で、デジタル資源が少ない。
• 大規模モデルの実行にはコストがかかりますが、インドネシアは資金が少ない中所得国です。

これらの課題を克服するには、開発者が限られたデータと資金を使って作業する必要があります。スサンド-1は、限られた資源でも安価な計算資源を使って生成モデルを開発できることを示すプロトタイプです。

🔭 適用範囲外の利用

これは研究用のプレビューベースモデルです。命令調整されておらず、セキュリティ対策も最小限です。商用または実用的なアプリケーションを目的としていません。

また、楽しみながら使わないではいけません。

📄 ライセンス

開発者

• 開発者: Afrizal Hasbi Azizy

ライセンス

• ライセンス: MIT

学習ログ