Llama SEA LION V3.5 8B R

🚀 Llama-SEA-LION-v3.5-8B-R

SEA-LION 是一系列大語言模型（LLM），針對東南亞（SEA）地區進行了預訓練和指令微調。

SEA-LION 代表 Southeast Asian Languages In One Network（一網打盡東南亞語言）。該模型由 AI Singapore 的產品支柱團隊開發，由新加坡國家研究基金會資助，能夠支持緬甸語、中文、英語、菲律賓語、印尼語、爪哇語、高棉語、老撾語、馬來語、巽他語、泰米爾語、泰語和越南語等多種語言。

當前版本：14.04.2025

🚀 快速開始

Llama-SEA-LION-v3.5-8B-R 是一個混合模型，提供了通用的功能，能夠處理複雜的推理任務和一般的文本生成，模式選擇通過分詞器的聊天模板進行管理。你可以使用 🤗 Transformers 庫運行該模型：

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-8B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

✨ 主要特性

• 多語言支持：支持緬甸語、中文、英語、菲律賓語、印尼語、爪哇語、高棉語、老撾語、馬來語、巽他語、泰米爾語、泰語和越南語等多種語言。
• 混合模型：能夠處理複雜的推理任務和一般的文本生成，模式選擇通過分詞器的聊天模板進行管理。
• 長上下文長度：模型的上下文長度為 128k。

📦 安裝指南

暫未提供相關安裝步驟，你可以參考上述代碼示例進行使用。

💻 使用示例

基礎用法

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-8B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

高級用法

Llama-SEA-LION-v3.5-8B-R 默認使用 thinking_mode="on" 進行推理。若要使用非思考模式（即標準生成），可將 thinking_mode="off" 傳遞給聊天模板：

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-8B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

tokenizer = pipeline.tokenizer

messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False, thinking_mode="off")

outputs = pipeline(
    prompt,
    max_new_tokens=256,
)

print(outputs[0]["generated_text"])

📚 詳細文檔

模型詳情

Llama-SEA-LION-v3.5-8B-R 是一個混合模型，提供了通用的功能，能夠處理複雜的推理任務和一般的文本生成，模式選擇通過分詞器的聊天模板進行管理。

我們在 持續預訓練的 Llama-SEA-LION-v3-8B 上進行了英語和東南亞語言（如菲律賓語、印尼語、泰米爾語、泰語和越南語）的指令微調，創建了 Llama-SEA-LION-v3.5-8B-R。該模型使用了 Llama 3.1 架構，是一個解碼器模型。

對於分詞，模型採用了 Llama 3.1 70B Instruct 中使用的默認分詞器。模型的上下文長度為 128k。

基準測試性能

我們評估了 Llama-SEA-LION-v3.5-8B-R 的通用語言能力和指令遵循能力。

通用語言能力

為了評估通用語言能力，我們在各種任務中使用了 SEA-HELM 評估基準。

這些任務包括問答（QA）、情感分析（Sentiment）、毒性檢測（Toxicity）、雙向翻譯（Eng>Lang & Lang>Eng）、抽象摘要（Abssum）、因果推理（Causal）、自然語言推理（NLI）和語言診斷（LINDSEA）。

注意：SEA-HELM 使用提示以嚴格的格式引出答案。對於所有任務，模型應提供一個答案標籤，從中自動提取答案。對於提供選項的任務，答案應包含一個預定義的選項。每個任務的分數進行了歸一化處理，以考慮隨機機會導致的基線性能。

評估是在每個數據集的 100 - 1000 個實例樣本上進行的 零樣本 評估，使用原生提示。

指令遵循能力

由於 Llama-SEA-LION-v3.5-8B-R 是一個指令遵循模型，我們還使用兩個數據集評估了其指令遵循能力，即 SEA-IFEval（基於 IFEval）和 SEA-MTBench（基於 MT-Bench）。

由於這兩個數據集最初是英文的，團隊中的語言學家和母語人士共同對數據集進行了過濾、本地化和翻譯成各自的目標語言，以確保示例仍然合理、有意義和自然。

SEA-IFEval

SEA-IFEval 評估模型遵循提示中提供的約束的能力，例如以特定的單詞/短語開始響應或以一定數量的部分進行回答。此外，準確性通過正確語言的響應比例進行歸一化（如果模型正確執行任務但以錯誤的語言響應，則判定任務失敗）。

SEA-MTBench

SEA-MTBench 評估模型進行多輪（2 輪）對話並以符合人類需求的方式進行響應的能力。我們使用 gpt-4-1106-preview 作為評判模型，並與 gpt-3.5-turbo-0125 作為基線模型進行比較。使用的指標是相對於基線模型的加權勝率（即每個類別：數學、推理、STEM、人文、角色扮演、寫作、提取的平均勝率）。平局得分為 0.5。

有關 Llama-SEA-LION-v3.5-8B-R 基準測試性能的更多詳細信息，請參考 SEA-HELM 排行榜，https://leaderboard.sea-lion.ai/。

注意事項

用戶需要注意，我們的模型存在一些侷限性，需要加以考慮。與許多大語言模型一樣，該模型可能會產生幻覺，偶爾會生成無關內容，引入與提供的上下文無關的虛構元素。由於模型推理可能存在不一致性，用戶在解釋和驗證模型的響應時也應謹慎。

🔧 技術細節

• 模型類型：解碼器
• 支持語言：緬甸語、中文、英語、菲律賓語、印尼語、爪哇語、高棉語、老撾語、馬來語、巽他語、泰米爾語、泰語、越南語
• 許可證：Llama 3.1 社區許可證

📄 許可證

本模型使用 Llama 3.1 社區許可證。

🔈 貢獻呼籲

我們鼓勵研究人員、開發者和語言愛好者積極為 SEA-LION 的改進和擴展做出貢獻。貢獻可以包括識別和報告錯誤、分享預訓練、指令和偏好數據、提高文檔的可用性、提出並實施新的模型評估任務和指標，或在其他東南亞語言中訓練模型版本。通過分享你的專業知識和見解，加入我們塑造 SEA-LION 的未來，使這些模型更易於使用、準確和通用。請查看我們的 GitHub 以獲取有關貢獻呼籲的更多信息。

👥 團隊成員

Antonyrex Sajeban, Chan Adwin, Cheng Nicholas, Choa Esther, Huang Yuli, Hulagadri Adithya Venkatadri, Lau Wayne, Lee Chwan Ren, Leong Wai Yi, Leong Wei Qi, Liew Rachel, Limkonchotiwat Peerat, Liu Bing Jie Darius, Montalan Jann Railey, Ng Boon Cheong Raymond, Ngui Jian Gang, Nguyen Thanh Ngan, Ong Brandon, Ong Tat-Wee David, Ong Zhi Hao, Rengarajan Hamsawardhini, Siow Bryan, Susanto Yosephine, Tai Ngee Chia, Tan Choon Meng, Teng Walter, Teo Eng Sipp Leslie, Teo Wei Yi, Tjhi William, Yeo Yeow Tong, Yong Xianbin

🙏 致謝

AI Singapore 是一個由新加坡國家研究基金會支持的國家項目，由新加坡國立大學主辦。本材料中表達的任何意見、研究結果、結論或建議均為作者的觀點，不反映國家研究基金會或新加坡國立大學的觀點。

📞 聯繫我們

如需更多信息，請使用 SEA-LION 諮詢表 與我們聯繫。

SEA-LION 的 GitHub 倉庫鏈接

⚠️ 免責聲明

這是商業指令微調模型的倉庫。該模型 未進行安全對齊。開發者和用戶應自行進行安全微調及相關安全措施。在任何情況下，作者均不對因使用發佈的權重和代碼而產生的任何索賠、損害或其他責任負責。