Sea Lion 3b

🚀 SEA-LION-v1-3B

SEA-LIONは、東南アジア（SEA）地域向けに事前学習と命令微調整が行われた大規模言語モデル（LLM）のコレクションです。 モデルのサイズは30億から70億のパラメータで構成されています。 これはSEA-LION-v1-3Bの紹介ページです。

SEA-LIONは Southeast Asian Languages In One Network の略称です。

📚 詳細ドキュメント

モデルの説明

SEA-LIONモデルは、自然言語処理の分野における大きな進歩であり、東南アジア地域のコンテキストを理解するために特別に学習されています。

SEA-LION-v1-3Bは、堅牢なMPTアーキテクチャをベースに構築され、語彙サイズは256Kです。

トークン化には、東南アジア言語に特化した独自のSEABPETokenizerを使用しており、モデルの最適なパフォーマンスを保証します。

SEA-LION-v1-3Bの学習データは、9800億トークンを含んでいます。

• 開発者: Products Pillar, AI Singapore
• 資金提供: Singapore NRF
• モデルタイプ: デコーダ
• 言語: 英語、中国語、インドネシア語、マレー語、タイ語、ベトナム語、フィリピン語、タミル語、ビルマ語、クメール語、ラオス語
• ライセンス: MITライセンス

パフォーマンスベンチマーク

SEA-LION-v1-3Bは、英語の一般的なタスクで平均的なパフォーマンスを示しています（Hugging FaceのLLMリーダーボードで測定）:

学習の詳細

データ

SEA-LION-v1-3Bは、以下のデータの9800億トークンで学習されました:

インフラストラクチャ

SEA-LION-v1-3Bは、MosaicML Composerを使用して、以下のハードウェアで学習されました:

設定

🔧 技術詳細

モデルアーキテクチャと目的

SEA-LION-v1-3Bは、MPTアーキテクチャを使用したデコーダモデルです。

トークナイザの詳細

トークナイザの学習には、学習データから2000万行をサンプリングしました。
学習フレームワークはSentencePieceです。
トークナイザのタイプはByte-Pair Encoding (BPE)です。

チーム

Lam Wen Zhi Clarence
Leong Wei Qi
Li Yier
Liu Bing Jie Darius
Lovenia Holy
Montalan Jann Railey
Ng Boon Cheong Raymond
Ngui Jian Gang
Nguyen Thanh Ngan
Ong Tat-Wee David
Rengarajan Hamsawardhini
Susanto Yosephine
Tai Ngee Chia
Tan Choon Meng
Teo Jin Howe
Teo Eng Sipp Leslie
Teo Wei Yi
Tjhi William
Yeo Yeow Tong
Yong Xianbin

謝辞

AI Singaporeは、シンガポール国立研究財団によって支援され、シンガポール国立大学によって主催される国家プログラムです。 この資料に表されている意見、調査結果、結論または推奨事項は、著者のものであり、シンガポール国立研究財団の見解を反映するものではありません。

お問い合わせ

詳細については、SEA-LION問い合わせフォームを使用してお問い合わせください。

SEA-LIONのGitHubリポジトリへのリンク

免責事項

これはベースモデルのリポジトリです。 このモデルは安全性に関して調整されていません。 開発者とユーザーは、独自の安全性の微調整と関連するセキュリティ対策を実施する必要があります。 公開された重みとコードの使用に起因するいかなる請求、損害、またはその他の責任についても、著者は一切の責任を負いません。

参考文献

タイ語事前学習データ参考文献

@misc{lowphansirikul2021wangchanberta,
    title={WangchanBERTa: Pretraining transformer-based Thai Language Models},
    author={Lalita Lowphansirikul and Charin Polpanumas and Nawat Jantrakulchai and Sarana Nutanong},
    year={2021},
    eprint={2101.09635},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}