Llama SEA LION V3 8B IT

🚀 Llama-SEA-LION-v3-8B-IT

SEA-LION是一系列為東南亞地區預訓練和指令微調的大語言模型，致力於解決該地區多語言處理問題，為東南亞語言的自然語言處理提供強大支持。

🚀 快速開始

SEA-LION 是一系列大語言模型（LLMs），專為東南亞（SEA）地區進行了預訓練和指令微調。

SEA-LION 代表 Southeast Asian Languages In One Network（東南亞語言一網打盡）。

• 開發者：AI Singapore 產品支柱團隊
• 資助方：新加坡國家研究基金會（Singapore NRF）
• 模型類型：解碼器
• 支持語言：緬甸語、中文、英語、菲律賓語、印尼語、爪哇語、高棉語、老撾語、馬來語、巽他語、泰米爾語、泰語、越南語
• 許可證：Llama 3.1 社區許可證

✨ 主要特性

模型詳情

模型描述

我們在 持續預訓練的 Llama-SEA-LION-v3-8B（一個使用 Llama 3.1 架構的解碼器模型）上進行了英語以及印尼語、爪哇語、巽他語、泰米爾語、泰語和越南語等東南亞語言的指令微調，從而創建了 Llama-SEA-LION-v3-8B-IT。

在分詞方面，該模型採用了 Llama 3.1 8B Instruct 中使用的默認分詞器。模型的上下文長度為 128k。

基準性能

我們對 Llama-SEA-LION-v3-8B-IT 的通用語言能力和指令遵循能力進行了評估。

通用語言能力

在評估通用語言能力時，我們使用了 SEA-HELM 評估基準 進行了各種任務的評估。 這些任務包括問答（QA）、情感分析（Sentiment）、毒性檢測（Toxicity）、雙向翻譯（Eng>Lang 和 Lang>Eng）、抽象摘要（Abssum）、因果推理（Causal）、自然語言推理（NLI）和語言診斷（LINDSEA）。

注意：SEA-HELM 使用提示來引出嚴格格式的答案。對於所有任務，模型需要提供一個答案標籤，以便自動提取答案。對於提供了選項的任務，答案應包含預定義的選項之一。每個任務的分數會根據隨機機會的基線性能進行歸一化處理。

評估是在每個數據集的 100 - 1000 個實例樣本上使用原生提示進行的 零樣本 評估。

指令遵循能力

由於 Llama-SEA-LION-v3-8B-IT 是一個指令遵循模型，我們還使用兩個數據集 SEA-IFEval（基於 IFEval）和 SEA-MTBench（基於 MT-Bench）對其指令遵循能力進行了評估。

由於這兩個數據集最初是英文的，團隊中的語言學家和母語人士共同對數據集進行了過濾、本地化和翻譯成各自的目標語言，以確保示例仍然合理、有意義和自然。

SEA-IFEval

SEA-IFEval 評估模型遵循提示中提供的約束條件的能力，例如以特定的單詞/短語開始回覆或以一定數量的部分進行回答。此外，準確性會根據正確語言的回覆比例進行歸一化處理（如果模型正確執行了任務但回覆語言錯誤，則判定任務失敗）。

SEA-MTBench

SEA-MTBench 評估模型進行多輪（2 輪）對話並以符合人類需求的方式進行回覆的能力。我們使用 gpt-4-1106-preview 作為評判模型，並與 gpt-3.5-turbo-0125 作為基線模型進行比較。使用的指標是相對於基線模型的加權勝率（即每個類別：數學、推理、STEM、人文、角色扮演、寫作、提取的平均勝率）。平局得分為 0.5。

有關 Llama-SEA-LION-v3-8B-IT 基準性能的更多詳細信息，請參考 SEA-HELM 排行榜，https://leaderboard.sea-lion.ai/。

📦 安裝指南

Llama-SEA-LION-v3-8B-IT 可以使用🤗 Transformers 庫運行。

💻 使用示例

基礎用法

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3-8B-IT"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

高級用法

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3-8B-IT"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    revision="18.12.2024", # 在此指定版本
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

注意事項

用戶需要注意，我們的模型存在一些需要考慮的侷限性。和許多大語言模型一樣，該模型可能會產生幻覺，偶爾會生成無關內容，引入與提供的上下文無關的虛構元素。由於模型推理可能存在不一致性，用戶在解釋和驗證模型的回覆時也應謹慎。

📚 詳細文檔

侷限性

安全性

當前的 SEA-LION 模型，包括這個商業許可版本，尚未進行安全對齊。開發者和用戶應該自行進行安全微調及相關安全措施。作者對於因使用發佈的權重和代碼而產生的任何索賠、損害或其他責任概不負責。

貢獻邀請

我們鼓勵研究人員、開發者和語言愛好者積極為 SEA-LION 的改進和擴展做出貢獻。貢獻可以包括識別和報告錯誤、分享預訓練、指令和偏好數據、提高文檔的可用性、提出並實現新的模型評估任務和指標，或者在更多東南亞語言中訓練模型版本。請分享您的專業知識和見解，幫助我們塑造 SEA-LION 的未來，使這些模型更具可訪問性、準確性和通用性。有關貢獻邀請的更多信息，請查看我們的 GitHub 倉庫。

團隊成員

Chan Adwin、Cheng Nicholas、Choa Esther、Huang Yuli、Hulagadri Adithya Venkatadri、Lau Wayne、Lee Chwan Ren、Leong Wai Yi、Leong Wei Qi、Limkonchotiwat Peerat、Liu Bing Jie Darius、Montalan Jann Railey、Ng Boon Cheong Raymond、Ngui Jian Gang、Nguyen Thanh Ngan、Ong Brandon、Ong Tat-Wee David、Ong Zhi Hao、Rengarajan Hamsawardhini、Siow Bryan、Susanto Yosephine、Tai Ngee Chia、Tan Choon Meng、Teng Walter、Teo Eng Sipp Leslie、Teo Wei Yi、Tjhi William、Yeo Yeow Tong、Yong Xianbin

致謝

AI Singapore 是一個由新加坡國家研究基金會支持、新加坡國立大學主辦的國家項目。本材料中表達的任何觀點、研究結果、結論或建議均為作者個人觀點，不反映新加坡國家研究基金會或新加坡國立大學的觀點。

聯繫我們

如需更多信息，請使用 SEA-LION 諮詢表單 與我們聯繫。

SEA-LION 的 GitHub 倉庫鏈接

免責聲明

這是商業指令微調模型的倉庫。 該模型 尚未進行安全對齊。 開發者和用戶應該自行進行安全微調及相關安全措施。 作者對於因使用發佈的權重和代碼而產生的任何索賠、損害或其他責任概不負責。