Llama SEA LION V3.5 70B R

🚀 Llama-SEA-LION-v3.5-70B-R

SEA-LION是一系列为东南亚地区预训练和指令微调的大语言模型，Llama-SEA-LION-v3.5-70B-R能处理复杂推理和文本生成任务，功能强大。

当前版本：14.04.2025

🚀 快速开始

Llama-SEA-LION-v3.5-70B-R 是一个混合模型，可通过分词器的聊天模板选择模式，处理复杂推理任务和一般文本生成。以下是使用示例：

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-70B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

✨ 主要特性

• 多功能处理：能够处理复杂推理任务和一般文本生成。
• 多语言支持：支持缅甸语、中文、英语、菲律宾语、印尼语、爪哇语、高棉语、老挝语、马来语、巽他语、泰米尔语、泰语、越南语等多种语言。
• 模式可选：可通过分词器的聊天模板选择推理模式或标准生成模式。

📦 安装指南

使用 🤗 Transformers 库运行 Llama-SEA-LION-v3.5-70B-R，安装相关依赖即可，代码示例如下：

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-70B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

💻 使用示例

基础用法

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-70B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

高级用法

切换到非思考模式（标准生成模式）：

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-70B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

tokenizer = pipeline.tokenizer

messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False, thinking_mode="off")

outputs = pipeline(
    prompt,
    max_new_tokens=256,
)

print(outputs[0]["generated_text"])

📚 详细文档

模型详情

模型描述

Llama-SEA-LION-v3.5-70B-R 是一个混合模型，可处理复杂推理任务和一般文本生成，通过分词器的聊天模板选择模式。该模型在 Instruction Tuned Llama-SEA-LION-v3-70B-IT 基础上，在英语和多种东南亚语言上进行了进一步指令微调。分词使用 Llama 3.1 70B Instruct 的默认分词器，上下文长度为 128k。

基准测试性能

对 Llama-SEA-LION-v3.5-70B-R 的通用语言能力和指令遵循能力进行了评估。

• 通用语言能力：使用 SEA-HELM 评估基准 进行评估，涵盖问答、情感分析、毒性检测、双向翻译、抽象摘要、因果推理、自然语言推理和语言诊断等任务。
• 指令遵循能力：使用 SEA-IFEval 和 SEA-MTBench 两个数据集进行评估。更多基准测试性能详情请参考 SEA-HELM 排行榜：https://leaderboard.sea-lion.ai/。

注意事项

用户需注意，该模型存在一定局限性。和许多大语言模型一样，可能会产生幻觉，偶尔生成无关内容，推理也可能存在不一致性。用户在解释和验证模型响应时应谨慎。

🔧 技术细节

模型架构

基于 Llama 3.1 架构的解码器模型。

分词器

使用 Llama 3.1 70B Instruct 的默认分词器。

上下文长度

模型的上下文长度为 128k。

📄 许可证

本模型使用 Llama 3.1 社区许可证。

⚠️ 重要提示

当前的 SEA-LION 模型，包括此商业许可版本，尚未进行安全对齐。开发者和用户应自行进行安全微调及相关安全措施。作者对使用发布的权重和代码所产生的任何索赔、损害或其他责任概不负责。

💡 使用建议

在使用模型时，由于模型可能存在幻觉和推理不一致的问题，建议用户对模型的输出进行仔细验证和判断。

🔍 模型信息表格

🤝 贡献呼吁

我们鼓励研究人员、开发者和语言爱好者积极为 SEA-LION 的改进和扩展做出贡献。贡献方式包括识别和报告错误、分享预训练、指令和偏好数据、提高文档可用性、提出并实现新的模型评估任务和指标，或在更多东南亚语言上训练模型版本。请查看我们的 GitHub 以获取更多贡献信息。

👥 团队成员

Antonyrex Sajeban, Chan Adwin, Cheng Nicholas, Choa Esther, Huang Yuli, Hulagadri Adithya Venkatadri, Lau Wayne, Lee Chwan Ren, Leong Wai Yi, Leong Wei Qi, Liew Rachel, Limkonchotiwat Peerat, Liu Bing Jie Darius, Montalan Jann Railey, Ng Boon Cheong Raymond, Ngui Jian Gang, Nguyen Thanh Ngan, Ong Brandon, Ong Tat-Wee David, Ong Zhi Hao, Rengarajan Hamsawardhini, Siow Bryan, Susanto Yosephine, Tai Ngee Chia, Tan Choon Meng, Teng Walter, Teo Eng Sipp Leslie, Teo Wei Yi, Tjhi William, Yeo Yeow Tong, Yong Xianbin

🙏 致谢

AI Singapore 是由新加坡国家研究基金会支持、新加坡国立大学主办的国家项目。本材料中表达的任何意见、发现、结论或建议均为作者个人观点，不反映国家研究基金会或新加坡国立大学的观点。

📞 联系我们

如需更多信息，请使用 SEA-LION 咨询表单 联系我们。

SEA-LION 的 GitHub 仓库链接

📢 免责声明

这是商业指令微调模型的仓库。该模型尚未进行安全对齐。开发者和用户应自行进行安全微调及相关安全措施。作者对使用发布的权重和代码所产生的任何索赔、损害或其他责任概不负责。