Llama SEA LION V3.5 8B R

🚀 Llama-SEA-LION-v3.5-8B-R

SEA-LION 是一系列大语言模型（LLM），针对东南亚（SEA）地区进行了预训练和指令微调。

SEA-LION 代表 Southeast Asian Languages In One Network（一网打尽东南亚语言）。该模型由 AI Singapore 的产品支柱团队开发，由新加坡国家研究基金会资助，能够支持缅甸语、中文、英语、菲律宾语、印尼语、爪哇语、高棉语、老挝语、马来语、巽他语、泰米尔语、泰语和越南语等多种语言。

当前版本：14.04.2025

🚀 快速开始

Llama-SEA-LION-v3.5-8B-R 是一个混合模型，提供了通用的功能，能够处理复杂的推理任务和一般的文本生成，模式选择通过分词器的聊天模板进行管理。你可以使用 🤗 Transformers 库运行该模型：

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-8B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

✨ 主要特性

• 多语言支持：支持缅甸语、中文、英语、菲律宾语、印尼语、爪哇语、高棉语、老挝语、马来语、巽他语、泰米尔语、泰语和越南语等多种语言。
• 混合模型：能够处理复杂的推理任务和一般的文本生成，模式选择通过分词器的聊天模板进行管理。
• 长上下文长度：模型的上下文长度为 128k。

📦 安装指南

暂未提供相关安装步骤，你可以参考上述代码示例进行使用。

💻 使用示例

基础用法

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-8B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

高级用法

Llama-SEA-LION-v3.5-8B-R 默认使用 thinking_mode="on" 进行推理。若要使用非思考模式（即标准生成），可将 thinking_mode="off" 传递给聊天模板：

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-8B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

tokenizer = pipeline.tokenizer

messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False, thinking_mode="off")

outputs = pipeline(
    prompt,
    max_new_tokens=256,
)

print(outputs[0]["generated_text"])

📚 详细文档

模型详情

Llama-SEA-LION-v3.5-8B-R 是一个混合模型，提供了通用的功能，能够处理复杂的推理任务和一般的文本生成，模式选择通过分词器的聊天模板进行管理。

我们在 持续预训练的 Llama-SEA-LION-v3-8B 上进行了英语和东南亚语言（如菲律宾语、印尼语、泰米尔语、泰语和越南语）的指令微调，创建了 Llama-SEA-LION-v3.5-8B-R。该模型使用了 Llama 3.1 架构，是一个解码器模型。

对于分词，模型采用了 Llama 3.1 70B Instruct 中使用的默认分词器。模型的上下文长度为 128k。

基准测试性能

我们评估了 Llama-SEA-LION-v3.5-8B-R 的通用语言能力和指令遵循能力。

通用语言能力

为了评估通用语言能力，我们在各种任务中使用了 SEA-HELM 评估基准。

这些任务包括问答（QA）、情感分析（Sentiment）、毒性检测（Toxicity）、双向翻译（Eng>Lang & Lang>Eng）、抽象摘要（Abssum）、因果推理（Causal）、自然语言推理（NLI）和语言诊断（LINDSEA）。

注意：SEA-HELM 使用提示以严格的格式引出答案。对于所有任务，模型应提供一个答案标签，从中自动提取答案。对于提供选项的任务，答案应包含一个预定义的选项。每个任务的分数进行了归一化处理，以考虑随机机会导致的基线性能。

评估是在每个数据集的 100 - 1000 个实例样本上进行的 零样本 评估，使用原生提示。

指令遵循能力

由于 Llama-SEA-LION-v3.5-8B-R 是一个指令遵循模型，我们还使用两个数据集评估了其指令遵循能力，即 SEA-IFEval（基于 IFEval）和 SEA-MTBench（基于 MT-Bench）。

由于这两个数据集最初是英文的，团队中的语言学家和母语人士共同对数据集进行了过滤、本地化和翻译成各自的目标语言，以确保示例仍然合理、有意义和自然。

SEA-IFEval

SEA-IFEval 评估模型遵循提示中提供的约束的能力，例如以特定的单词/短语开始响应或以一定数量的部分进行回答。此外，准确性通过正确语言的响应比例进行归一化（如果模型正确执行任务但以错误的语言响应，则判定任务失败）。

SEA-MTBench

SEA-MTBench 评估模型进行多轮（2 轮）对话并以符合人类需求的方式进行响应的能力。我们使用 gpt-4-1106-preview 作为评判模型，并与 gpt-3.5-turbo-0125 作为基线模型进行比较。使用的指标是相对于基线模型的加权胜率（即每个类别：数学、推理、STEM、人文、角色扮演、写作、提取的平均胜率）。平局得分为 0.5。

有关 Llama-SEA-LION-v3.5-8B-R 基准测试性能的更多详细信息，请参考 SEA-HELM 排行榜，https://leaderboard.sea-lion.ai/。

注意事项

用户需要注意，我们的模型存在一些局限性，需要加以考虑。与许多大语言模型一样，该模型可能会产生幻觉，偶尔会生成无关内容，引入与提供的上下文无关的虚构元素。由于模型推理可能存在不一致性，用户在解释和验证模型的响应时也应谨慎。

🔧 技术细节

• 模型类型：解码器
• 支持语言：缅甸语、中文、英语、菲律宾语、印尼语、爪哇语、高棉语、老挝语、马来语、巽他语、泰米尔语、泰语、越南语
• 许可证：Llama 3.1 社区许可证

📄 许可证

本模型使用 Llama 3.1 社区许可证。

🔈 贡献呼吁

我们鼓励研究人员、开发者和语言爱好者积极为 SEA-LION 的改进和扩展做出贡献。贡献可以包括识别和报告错误、分享预训练、指令和偏好数据、提高文档的可用性、提出并实施新的模型评估任务和指标，或在其他东南亚语言中训练模型版本。通过分享你的专业知识和见解，加入我们塑造 SEA-LION 的未来，使这些模型更易于使用、准确和通用。请查看我们的 GitHub 以获取有关贡献呼吁的更多信息。

👥 团队成员

Antonyrex Sajeban, Chan Adwin, Cheng Nicholas, Choa Esther, Huang Yuli, Hulagadri Adithya Venkatadri, Lau Wayne, Lee Chwan Ren, Leong Wai Yi, Leong Wei Qi, Liew Rachel, Limkonchotiwat Peerat, Liu Bing Jie Darius, Montalan Jann Railey, Ng Boon Cheong Raymond, Ngui Jian Gang, Nguyen Thanh Ngan, Ong Brandon, Ong Tat-Wee David, Ong Zhi Hao, Rengarajan Hamsawardhini, Siow Bryan, Susanto Yosephine, Tai Ngee Chia, Tan Choon Meng, Teng Walter, Teo Eng Sipp Leslie, Teo Wei Yi, Tjhi William, Yeo Yeow Tong, Yong Xianbin

🙏 致谢

AI Singapore 是一个由新加坡国家研究基金会支持的国家项目，由新加坡国立大学主办。本材料中表达的任何意见、研究结果、结论或建议均为作者的观点，不反映国家研究基金会或新加坡国立大学的观点。

📞 联系我们

如需更多信息，请使用 SEA-LION 咨询表 与我们联系。

SEA-LION 的 GitHub 仓库链接

⚠️ 免责声明

这是商业指令微调模型的仓库。该模型 未进行安全对齐。开发者和用户应自行进行安全微调及相关安全措施。在任何情况下，作者均不对因使用发布的权重和代码而产生的任何索赔、损害或其他责任负责。