Llama SEA LION V3.5 70B R

🚀 Llama-SEA-LION-v3.5-70B-R

SEA-LION是一系列為東南亞地區預訓練和指令微調的大語言模型，Llama-SEA-LION-v3.5-70B-R能處理複雜推理和文本生成任務，功能強大。

當前版本：14.04.2025

🚀 快速開始

Llama-SEA-LION-v3.5-70B-R 是一個混合模型，可通過分詞器的聊天模板選擇模式，處理複雜推理任務和一般文本生成。以下是使用示例：

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-70B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

✨ 主要特性

• 多功能處理：能夠處理複雜推理任務和一般文本生成。
• 多語言支持：支持緬甸語、中文、英語、菲律賓語、印尼語、爪哇語、高棉語、老撾語、馬來語、巽他語、泰米爾語、泰語、越南語等多種語言。
• 模式可選：可通過分詞器的聊天模板選擇推理模式或標準生成模式。

📦 安裝指南

使用 🤗 Transformers 庫運行 Llama-SEA-LION-v3.5-70B-R，安裝相關依賴即可，代碼示例如下：

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-70B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

💻 使用示例

基礎用法

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-70B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

高級用法

切換到非思考模式（標準生成模式）：

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-70B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

tokenizer = pipeline.tokenizer

messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False, thinking_mode="off")

outputs = pipeline(
    prompt,
    max_new_tokens=256,
)

print(outputs[0]["generated_text"])

📚 詳細文檔

模型詳情

模型描述

Llama-SEA-LION-v3.5-70B-R 是一個混合模型，可處理複雜推理任務和一般文本生成，通過分詞器的聊天模板選擇模式。該模型在 Instruction Tuned Llama-SEA-LION-v3-70B-IT 基礎上，在英語和多種東南亞語言上進行了進一步指令微調。分詞使用 Llama 3.1 70B Instruct 的默認分詞器，上下文長度為 128k。

基準測試性能

對 Llama-SEA-LION-v3.5-70B-R 的通用語言能力和指令遵循能力進行了評估。

• 通用語言能力：使用 SEA-HELM 評估基準 進行評估，涵蓋問答、情感分析、毒性檢測、雙向翻譯、抽象摘要、因果推理、自然語言推理和語言診斷等任務。
• 指令遵循能力：使用 SEA-IFEval 和 SEA-MTBench 兩個數據集進行評估。更多基準測試性能詳情請參考 SEA-HELM 排行榜：https://leaderboard.sea-lion.ai/。

注意事項

用戶需注意，該模型存在一定侷限性。和許多大語言模型一樣，可能會產生幻覺，偶爾生成無關內容，推理也可能存在不一致性。用戶在解釋和驗證模型響應時應謹慎。

🔧 技術細節

模型架構

基於 Llama 3.1 架構的解碼器模型。

分詞器

使用 Llama 3.1 70B Instruct 的默認分詞器。

上下文長度

模型的上下文長度為 128k。

📄 許可證

本模型使用 Llama 3.1 社區許可證。

⚠️ 重要提示

當前的 SEA-LION 模型，包括此商業許可版本，尚未進行安全對齊。開發者和用戶應自行進行安全微調及相關安全措施。作者對使用發佈的權重和代碼所產生的任何索賠、損害或其他責任概不負責。

💡 使用建議

在使用模型時，由於模型可能存在幻覺和推理不一致的問題，建議用戶對模型的輸出進行仔細驗證和判斷。

🔍 模型信息表格

🤝 貢獻呼籲

我們鼓勵研究人員、開發者和語言愛好者積極為 SEA-LION 的改進和擴展做出貢獻。貢獻方式包括識別和報告錯誤、分享預訓練、指令和偏好數據、提高文檔可用性、提出並實現新的模型評估任務和指標，或在更多東南亞語言上訓練模型版本。請查看我們的 GitHub 以獲取更多貢獻信息。

👥 團隊成員

Antonyrex Sajeban, Chan Adwin, Cheng Nicholas, Choa Esther, Huang Yuli, Hulagadri Adithya Venkatadri, Lau Wayne, Lee Chwan Ren, Leong Wai Yi, Leong Wei Qi, Liew Rachel, Limkonchotiwat Peerat, Liu Bing Jie Darius, Montalan Jann Railey, Ng Boon Cheong Raymond, Ngui Jian Gang, Nguyen Thanh Ngan, Ong Brandon, Ong Tat-Wee David, Ong Zhi Hao, Rengarajan Hamsawardhini, Siow Bryan, Susanto Yosephine, Tai Ngee Chia, Tan Choon Meng, Teng Walter, Teo Eng Sipp Leslie, Teo Wei Yi, Tjhi William, Yeo Yeow Tong, Yong Xianbin

🙏 致謝

AI Singapore 是由新加坡國家研究基金會支持、新加坡國立大學主辦的國家項目。本材料中表達的任何意見、發現、結論或建議均為作者個人觀點，不反映國家研究基金會或新加坡國立大學的觀點。

📞 聯繫我們

如需更多信息，請使用 SEA-LION 諮詢表單 聯繫我們。

SEA-LION 的 GitHub 倉庫鏈接

📢 免責聲明

這是商業指令微調模型的倉庫。該模型尚未進行安全對齊。開發者和用戶應自行進行安全微調及相關安全措施。作者對使用發佈的權重和代碼所產生的任何索賠、損害或其他責任概不負責。