SEA LION V1 7B

🚀 SEA-LION-v1-7B

SEA-LION是一系列大语言模型（LLMs），针对东南亚（SEA）地区进行了预训练和指令调优。这些模型的参数规模从30亿到70亿不等。本文档是SEA-LION 7B基础模型的介绍。

SEA-LION代表“东南亚语言一网打尽”（Southeast Asian Languages In One Network）。

✨ 主要特性

• 区域针对性：专门为理解东南亚地区的语境而训练，支持多种东南亚语言，包括英语、中文、印尼语、马来语、泰语、越南语、菲律宾语、泰米尔语、缅甸语、高棉语和老挝语。
• 强大架构：基于稳健的MPT架构构建，词汇量达256K。
• 定制分词器：采用自定义的SEABPETokenizer，专门为东南亚语言量身定制，确保模型性能最优。

📦 安装指南

文档未提供安装步骤，故跳过此章节。

💻 使用示例

文档未提供代码示例，故跳过此章节。

📚 详细文档

模型详情

模型描述

SEA-LION模型是自然语言处理领域的重大突破，专门针对理解东南亚地区的语境进行训练。

SEA-LION-v1-7B基于强大的MPT架构构建，词汇量为256K。

在分词方面，该模型采用了我们自定义的SEABPETokenizer，它是专门为东南亚语言定制的，能够确保模型达到最佳性能。

SEA-LION-v1-7B的训练数据包含9800亿个标记。

性能基准

SEA-LION-v1-7B在英语通用任务上的平均表现（根据Hugging Face的大语言模型排行榜衡量）如下：

训练详情

数据

SEA-LION-v1-7B在以下9800亿个标记的数据上进行训练：

基础设施

SEA-LION-v1-7B使用MosaicML Composer在以下硬件上进行训练：

配置

技术规格

模型架构与目标

SEA-LION-v1-7B是一个基于MPT架构的解码器模型。

分词器详情

我们从训练数据中抽取了2000万行来训练分词器。训练框架使用的是SentencePiece，分词器类型为字节对编码（BPE）。

🔧 技术细节

团队成员

• Lam Wen Zhi Clarence
• Leong Wei Qi
• Li Yier
• Liu Bing Jie Darius
• Lovenia Holy
• Montalan Jann Railey
• Ng Boon Cheong Raymond
• Ngui Jian Gang
• Nguyen Thanh Ngan
• Ong Tat-Wee David
• Rengarajan Hamsawardhini
• Susanto Yosephine
• Tai Ngee Chia
• Tan Choon Meng
• Teo Jin Howe
• Teo Eng Sipp Leslie
• Teo Wei Yi
• Tjhi William
• Yeo Yeow Tong
• Yong Xianbin

致谢

新加坡人工智能公司是一个由新加坡国家研究基金会支持的国家项目，由新加坡国立大学主办。本材料中表达的任何观点、研究结果、结论或建议均为作者个人观点，不反映新加坡国家研究基金会的意见。

联系方式

如需更多信息，请通过SEA-LION咨询表单与我们联系。

SEA-LION的GitHub仓库链接

免责声明

本仓库为基础模型仓库。该模型尚未进行安全对齐。开发者和用户应自行进行安全微调及相关安全措施。在任何情况下，作者均不对因使用发布的权重和代码而产生的任何索赔、损害或其他责任负责。

参考文献

泰语预训练数据参考

@misc{lowphansirikul2021wangchanberta,
    title={WangchanBERTa: Pretraining transformer-based Thai Language Models},
    author={Lalita Lowphansirikul and Charin Polpanumas and Nawat Jantrakulchai and Sarana Nutanong},
    year={2021},
    eprint={2101.09635},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

📄 许可证

本模型采用MIT许可证。