Sea Lion 3b

🚀 SEA-LION-v1-3B

SEA-LION是一系列大语言模型（LLMs），针对东南亚（SEA）地区进行了预训练和指令微调。模型的参数规模从30亿到70亿不等。此为SEA-LION-v1-3B的介绍页。

SEA-LION代表东南亚语言一网打尽（Southeast Asian Languages In One Network）。

📚 详细文档

模型描述

SEA-LION模型是自然语言处理领域的重大突破，专门针对东南亚地区的语境进行训练。

SEA-LION-v1-3B基于强大的MPT架构构建，词汇量达256K。

在分词方面，该模型采用了我们定制的SEABPETokenizer，它是专门为东南亚语言量身定制的，可确保模型达到最佳性能。

SEA-LION-v1-3B的训练数据包含9800亿个词元。

• 开发者：新加坡人工智能公司产品支柱团队
• 资助方：新加坡国家研究基金会
• 模型类型：解码器
• 支持语言：英语、中文、印尼语、马来语、泰语、越南语、菲律宾语、泰米尔语、缅甸语、高棉语、老挝语
• 许可证：MIT许可证

性能基准

SEA-LION-v1-3B在英语通用任务上表现出一定的平均性能（根据Hugging Face的大语言模型排行榜衡量）：

🔧 技术细节

数据

SEA-LION-v1-3B在以下9800亿个词元的数据上进行训练：

基础设施

SEA-LION-v1-3B使用MosaicML Composer在以下硬件上进行训练：

配置

模型架构和目标

SEA-LION-v1-3B是一个使用MPT架构的解码器模型。

分词器详情

我们从训练数据中抽取了2000万行来训练分词器。训练框架为SentencePiece，分词器类型为字节对编码（BPE）。

👥 团队成员

• Lam Wen Zhi Clarence
• Leong Wei Qi
• Li Yier
• Liu Bing Jie Darius
• Lovenia Holy
• Montalan Jann Railey
• Ng Boon Cheong Raymond
• Ngui Jian Gang
• Nguyen Thanh Ngan
• Ong Tat-Wee David
• Rengarajan Hamsawardhini
• Susanto Yosephine
• Tai Ngee Chia
• Tan Choon Meng
• Teo Jin Howe
• Teo Eng Sipp Leslie
• Teo Wei Yi
• Tjhi William
• Yeo Yeow Tong
• Yong Xianbin

🙏 致谢

新加坡人工智能是由新加坡国家研究基金会支持的国家项目，由新加坡国立大学主办。本材料中表达的任何观点、研究结果、结论或建议均为作者个人观点，不反映新加坡国家研究基金会的意见。

📞 联系我们

如需更多信息，请通过此SEA-LION咨询表单与我们联系。

SEA-LION的GitHub仓库链接

⚠️ 免责声明

此为基础模型的仓库。该模型尚未进行安全对齐。开发者和用户应自行进行安全微调及相关安全措施。在任何情况下，作者均不对因使用发布的权重和代码而产生的任何索赔、损害或其他责任负责。

📚 参考文献

泰语预训练数据参考

@misc{lowphansirikul2021wangchanberta,
    title={WangchanBERTa: Pretraining transformer-based Thai Language Models},
    author={Lalita Lowphansirikul and Charin Polpanumas and Nawat Jantrakulchai and Sarana Nutanong},
    year={2021},
    eprint={2101.09635},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}