Llama SEA LION V3 70B IT

🚀 Llama-SEA-LION-v3-70B-IT

SEA-LION 是一系列大语言模型（LLM），针对东南亚（SEA）地区进行了预训练和指令调优。

SEA-LION 代表 Southeast Asian Languages In One Network（东南亚语言一网打尽）。该模型由新加坡人工智能公司的产品支柱团队开发，由新加坡国家研究基金会资助。它具有解码器类型，支持缅甸语、中文、英语、菲律宾语、印尼语、爪哇语、高棉语、老挝语、马来语、巽他语、泰米尔语、泰语和越南语等多种语言，遵循 Llama 3.1 社区许可证。

🚀 快速开始

模型信息

运行模型

Llama-SEA-LION-v3-70B-IT 可以使用 transformers 库运行：

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3-70B-IT"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

访问旧版本

Huggingface 支持使用 revision 参数，允许用户访问按日期标记的模型旧版本：

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3-70B-IT"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    revision="18.12.2024", # 在此指定版本
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

✨ 主要特性

模型描述

我们在 持续预训练的 Llama-SEA-LION-v3-70B 上进行了英语以及印尼语、爪哇语、巽他语、泰米尔语、泰语和越南语等东南亚语言的指令调优，创建了 Llama-SEA-LION-v3-70B-IT。该模型使用 Llama 3.1 架构，是一个解码器模型。

在分词方面，模型采用了 Llama 3.1 70B Instruct 中使用的默认分词器，上下文长度为 128k。

基准性能

我们对 Llama-SEA-LION-v3-70B-IT 的通用语言能力和指令遵循能力进行了评估。

通用语言能力

在评估通用语言能力时，我们使用了 SEA-HELM 评估基准，涵盖了各种任务，包括问答（QA）、情感分析（Sentiment）、毒性检测（Toxicity）、双向翻译（Eng>Lang & Lang>Eng）、抽象摘要（Abssum）、因果推理（Causal）、自然语言推理（NLI）和语言诊断（LINDSEA）。

注意：SEA-HELM 使用提示以严格的格式引出答案。对于所有任务，模型应提供一个答案标签，从中自动提取答案。对于提供选项的任务，答案应包含预定义的选项之一。每个任务的分数进行了归一化处理，以考虑随机机会导致的基线性能。评估是在每个数据集的 100 - 1000 个实例上使用原生提示进行的 零样本 评估。

指令遵循能力

由于 Llama-SEA-LION-v3-70B-IT 是一个指令遵循模型，我们还使用两个数据集 SEA-IFEval（基于 IFEval）和 SEA-MTBench（基于 MT-Bench）对其指令遵循能力进行了评估。

由于这两个数据集最初是英文的，团队中的语言学家和母语人士共同对数据集进行了过滤、本地化和翻译，以确保示例仍然合理、有意义和自然。

SEA-IFEval SEA-IFEval 评估模型遵循提示中提供的约束的能力，例如以特定单词/短语开始响应或用特定数量的部分回答。此外，准确性通过正确语言的响应比例进行归一化处理（如果模型正确执行任务但用错误的语言响应，则判定任务失败）。

SEA-MTBench SEA-MTBench 评估模型进行多轮（2 轮）对话并以符合人类需求的方式响应的能力。我们使用 gpt-4-1106-preview 作为评判模型，并与 gpt-3.5-turbo-0125 作为基线模型进行比较。使用的指标是相对于基线模型的加权胜率（即每个类别：数学、推理、STEM、人文、角色扮演、写作、提取的平均胜率）。平局得分为 0.5。

有关 Llama-SEA-LION-v3-70B-IT 基准性能的更多详细信息，请参考 SEA-HELM 排行榜：https://leaderboard.sea-lion.ai/。

💻 使用示例

基础用法

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3-70B-IT"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

高级用法

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3-70B-IT"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    revision="18.12.2024", # 访问旧版本
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

🔧 技术细节

模型局限性

用户需要注意，我们的模型存在一些局限性。与许多大语言模型一样，该模型可能会产生幻觉，偶尔生成无关内容，引入与提供的上下文无关的虚构元素。由于模型推理可能存在不一致性，用户在解释和验证模型响应时应谨慎。

安全问题

当前的 SEA-LION 模型，包括这个商业许可版本，尚未进行安全对齐。开发者和用户应自行进行安全微调及相关安全措施。作者对因使用发布的权重和代码而产生的任何索赔、损害或其他责任概不负责。

🤝 贡献呼吁

我们鼓励研究人员、开发者和语言爱好者积极为 SEA-LION 的改进和扩展做出贡献。贡献可以包括识别和报告错误、分享预训练、指令和偏好数据、提高文档可用性、提出并实现新的模型评估任务和指标，或在更多东南亚语言中训练模型版本。请通过我们的 GitHub 了解更多关于贡献呼吁的信息。

👥 团队成员

Chan Adwin, Cheng Nicholas, Choa Esther, Huang Yuli, Hulagadri Adithya Venkatadri, Lau Wayne, Lee Chwan Ren, Leong Wai Yi, Leong Wei Qi, Limkonchotiwat Peerat, Liu Bing Jie Darius, Montalan Jann Railey, Ng Boon Cheong Raymond, Ngui Jian Gang, Nguyen Thanh Ngan, Ong Brandon, Ong Tat-Wee David, Ong Zhi Hao, Rengarajan Hamsawardhini, Siow Bryan, Susanto Yosephine, Tai Ngee Chia, Tan Choon Meng, Teng Walter, Teo Eng Sipp Leslie, Teo Wei Yi, Tjhi William, Yeo Yeow Tong, Yong Xianbin

🙏 致谢

新加坡人工智能公司 是一个由新加坡国家研究基金会支持、新加坡国立大学主办的国家项目。本材料中表达的任何意见、研究结果、结论或建议均为作者个人观点，不反映国家研究基金会或新加坡国立大学的观点。

📞 联系我们

如需更多信息，请使用 SEA-LION 咨询表单 与我们联系。

SEA-LION 的 GitHub 仓库链接

⚠️ 免责声明

这是商业指令调优模型的仓库。该模型 未 进行安全对齐。开发者和用户应自行进行安全微调及相关安全措施。作者对因使用发布的权重和代码而产生的任何索赔、损害或其他责任概不负责。