Llama SEA LION V3 70B IT

🚀 Llama-SEA-LION-v3-70B-IT

SEA-LION 是一系列大語言模型（LLM），針對東南亞（SEA）地區進行了預訓練和指令調優。

SEA-LION 代表 Southeast Asian Languages In One Network（東南亞語言一網打盡）。該模型由新加坡人工智能公司的產品支柱團隊開發，由新加坡國家研究基金會資助。它具有解碼器類型，支持緬甸語、中文、英語、菲律賓語、印尼語、爪哇語、高棉語、老撾語、馬來語、巽他語、泰米爾語、泰語和越南語等多種語言，遵循 Llama 3.1 社區許可證。

🚀 快速開始

模型信息

運行模型

Llama-SEA-LION-v3-70B-IT 可以使用 transformers 庫運行：

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3-70B-IT"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

訪問舊版本

Huggingface 支持使用 revision 參數，允許用戶訪問按日期標記的模型舊版本：

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3-70B-IT"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    revision="18.12.2024", # 在此指定版本
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

✨ 主要特性

模型描述

我們在 持續預訓練的 Llama-SEA-LION-v3-70B 上進行了英語以及印尼語、爪哇語、巽他語、泰米爾語、泰語和越南語等東南亞語言的指令調優，創建了 Llama-SEA-LION-v3-70B-IT。該模型使用 Llama 3.1 架構，是一個解碼器模型。

在分詞方面，模型採用了 Llama 3.1 70B Instruct 中使用的默認分詞器，上下文長度為 128k。

基準性能

我們對 Llama-SEA-LION-v3-70B-IT 的通用語言能力和指令遵循能力進行了評估。

通用語言能力

在評估通用語言能力時，我們使用了 SEA-HELM 評估基準，涵蓋了各種任務，包括問答（QA）、情感分析（Sentiment）、毒性檢測（Toxicity）、雙向翻譯（Eng>Lang & Lang>Eng）、抽象摘要（Abssum）、因果推理（Causal）、自然語言推理（NLI）和語言診斷（LINDSEA）。

注意：SEA-HELM 使用提示以嚴格的格式引出答案。對於所有任務，模型應提供一個答案標籤，從中自動提取答案。對於提供選項的任務，答案應包含預定義的選項之一。每個任務的分數進行了歸一化處理，以考慮隨機機會導致的基線性能。評估是在每個數據集的 100 - 1000 個實例上使用原生提示進行的 零樣本 評估。

指令遵循能力

由於 Llama-SEA-LION-v3-70B-IT 是一個指令遵循模型，我們還使用兩個數據集 SEA-IFEval（基於 IFEval）和 SEA-MTBench（基於 MT-Bench）對其指令遵循能力進行了評估。

由於這兩個數據集最初是英文的，團隊中的語言學家和母語人士共同對數據集進行了過濾、本地化和翻譯，以確保示例仍然合理、有意義和自然。

SEA-IFEval SEA-IFEval 評估模型遵循提示中提供的約束的能力，例如以特定單詞/短語開始響應或用特定數量的部分回答。此外，準確性通過正確語言的響應比例進行歸一化處理（如果模型正確執行任務但用錯誤的語言響應，則判定任務失敗）。

SEA-MTBench SEA-MTBench 評估模型進行多輪（2 輪）對話並以符合人類需求的方式響應的能力。我們使用 gpt-4-1106-preview 作為評判模型，並與 gpt-3.5-turbo-0125 作為基線模型進行比較。使用的指標是相對於基線模型的加權勝率（即每個類別：數學、推理、STEM、人文、角色扮演、寫作、提取的平均勝率）。平局得分為 0.5。

有關 Llama-SEA-LION-v3-70B-IT 基準性能的更多詳細信息，請參考 SEA-HELM 排行榜：https://leaderboard.sea-lion.ai/。

💻 使用示例

基礎用法

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3-70B-IT"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

高級用法

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3-70B-IT"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    revision="18.12.2024", # 訪問舊版本
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

🔧 技術細節

模型侷限性

用戶需要注意，我們的模型存在一些侷限性。與許多大語言模型一樣，該模型可能會產生幻覺，偶爾生成無關內容，引入與提供的上下文無關的虛構元素。由於模型推理可能存在不一致性，用戶在解釋和驗證模型響應時應謹慎。

安全問題

當前的 SEA-LION 模型，包括這個商業許可版本，尚未進行安全對齊。開發者和用戶應自行進行安全微調及相關安全措施。作者對因使用發佈的權重和代碼而產生的任何索賠、損害或其他責任概不負責。

🤝 貢獻呼籲

我們鼓勵研究人員、開發者和語言愛好者積極為 SEA-LION 的改進和擴展做出貢獻。貢獻可以包括識別和報告錯誤、分享預訓練、指令和偏好數據、提高文檔可用性、提出並實現新的模型評估任務和指標，或在更多東南亞語言中訓練模型版本。請通過我們的 GitHub 瞭解更多關於貢獻呼籲的信息。

👥 團隊成員

Chan Adwin, Cheng Nicholas, Choa Esther, Huang Yuli, Hulagadri Adithya Venkatadri, Lau Wayne, Lee Chwan Ren, Leong Wai Yi, Leong Wei Qi, Limkonchotiwat Peerat, Liu Bing Jie Darius, Montalan Jann Railey, Ng Boon Cheong Raymond, Ngui Jian Gang, Nguyen Thanh Ngan, Ong Brandon, Ong Tat-Wee David, Ong Zhi Hao, Rengarajan Hamsawardhini, Siow Bryan, Susanto Yosephine, Tai Ngee Chia, Tan Choon Meng, Teng Walter, Teo Eng Sipp Leslie, Teo Wei Yi, Tjhi William, Yeo Yeow Tong, Yong Xianbin

🙏 致謝

新加坡人工智能公司 是一個由新加坡國家研究基金會支持、新加坡國立大學主辦的國家項目。本材料中表達的任何意見、研究結果、結論或建議均為作者個人觀點，不反映國家研究基金會或新加坡國立大學的觀點。

📞 聯繫我們

如需更多信息，請使用 SEA-LION 諮詢表單 與我們聯繫。

SEA-LION 的 GitHub 倉庫鏈接

⚠️ 免責聲明

這是商業指令調優模型的倉庫。該模型 未 進行安全對齊。開發者和用戶應自行進行安全微調及相關安全措施。作者對因使用發佈的權重和代碼而產生的任何索賠、損害或其他責任概不負責。