Llama SEA LION V3.5 8B R

🚀 Llama-SEA-LION-v3.5-8B-R

SEA-LIONは、東南アジア（SEA）地域向けに事前学習と命令微調整が行われた大規模言語モデル（LLM）のコレクションです。

SEA-LIONは、Southeast Asian Languages In One Network の略称です。

• 開発元: Products Pillar, AI Singapore
• 資金提供: シンガポールNRF
• モデルタイプ: デコーダー
• サポート言語: ビルマ語、中国語、英語、フィリピン語、インドネシア語、ジャワ語、クメール語、ラオス語、マレー語、スンダ語、タミル語、タイ語、ベトナム語
• ライセンス: Llama 3.1 Community License

現在のバージョン: 14.04.2025

🚀 クイックスタート

このセクションでは、Llama-SEA-LION-v3.5-8B-Rの基本的な使い方を説明します。

✨ 主な機能

• 複雑な推論タスクと一般的なテキスト生成の両方を扱うことができるハイブリッドモデルです。
• トークナイザーのチャットテンプレートを通じてモード選択が可能です。

📦 インストール

Llama-SEA-LION-v3.5-8B-Rは、🤗 Transformersライブラリを使用して実行できます。

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-8B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

💻 使用例

基本的な使用法

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-8B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

高度な使用法

思考モードを切り替える例です。

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-8B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

tokenizer = pipeline.tokenizer

messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False, thinking_mode="off")

outputs = pipeline(
    prompt,
    max_new_tokens=256,
)

print(outputs[0]["generated_text"])

📚 ドキュメント

モデルの詳細

モデルの説明

Llama-SEA-LION-v3.5-8B-Rは、複雑な推論タスクと一般的なテキスト生成の両方を扱うことができるハイブリッドモデルです。モード選択は、トークナイザーのチャットテンプレートを通じて管理されます。

このモデルは、continued pre-trained Llama-SEA-LION-v3-8B（Llama 3.1アーキテクチャを使用したデコーダーモデル）に対して、英語と東南アジアの言語（フィリピン語、インドネシア語、タミル語、タイ語、ベトナム語）で命令微調整を行って作成されました。

トークン化には、Llama 3.1 70B Instructで使用されるデフォルトのトークナイザーが使用されています。モデルのコンテキスト長は128kです。

ベンチマーク性能

Llama-SEA-LION-v3.5-8B-Rは、一般的な言語能力と命令追従能力の両方について評価されています。

一般的な言語能力

一般的な言語能力の評価には、SEA-HELM評価ベンチマークを様々なタスクにわたって使用しました。これらのタスクには、質問応答（QA）、感情分析（Sentiment）、毒性検出（Toxicity）、双方向の翻訳（Eng>Lang & Lang>Eng）、要約生成（Abssum）、因果推論（Causal）、自然言語推論（NLI）、言語診断（LINDSEA）が含まれます。

注: SEA-HELMは、厳格な形式で回答を引出すためのプロンプトを使用して実装されています。すべてのタスクで、モデルは回答タグを提供することが期待されており、そこから回答が自動的に抽出されます。選択肢が提供されるタスクでは、回答は事前定義された選択肢の1つで構成される必要があります。各タスクのスコアは、ランダムな偶然によるベースライン性能を考慮して正規化されています。

評価は、各データセットの100 - 1000インスタンスのサンプルに対して、ネイティブプロンプトを使用してゼロショットで行われました。

命令追従能力

Llama-SEA-LION-v3.5-8B-Rは命令追従モデルであるため、命令追従能力についても2つのデータセット、SEA-IFEval（IFEvalに基づく）とSEA-MTBench（MT-Benchに基づく）を使用して評価されています。

これら2つのデータセットは元々英語であったため、チーム内の言語学者とネイティブスピーカーが協力して、データセットをフィルタリング、ローカライズ、翻訳して、それぞれのターゲット言語に変換しました。これにより、サンプルが合理的、有意義、自然なままであることを保証しました。

SEA-IFEval SEA-IFEvalは、モデルがプロンプトに提供された制約に従う能力を評価します。たとえば、特定の単語/フレーズで応答を開始するか、特定のセクション数で回答するなどです。さらに、正解率は正しい言語での応答の割合によって正規化されます（モデルがタスクを正しく実行しているが、間違った言語で応答した場合、タスクに失敗したと判断されます）。

SEA-MTBench SEA-MTBenchは、モデルがマルチターン（2ターン）の会話に参加し、人間のニーズに合致する方法で応答する能力を評価します。評価にはgpt-4-1106-previewを評価モデルとして使用し、gpt-3.5-turbo-0125をベースラインモデルとして比較します。使用される指標は、ベースラインモデルに対する加重勝率です（すなわち、各カテゴリー（数学、推論、STEM、人文科学、ロールプレイ、執筆、抽出）の平均勝率）。引き分けは0.5のスコアが与えられます。

Llama-SEA-LION-v3.5-8B-Rのベンチマーク性能の詳細については、SEA-HELMリーダーボード（https://leaderboard.sea-lion.ai/）を参照してください。

思考モードの切り替え

Llama-SEA-LION-v3.5-8B-Rは、チャットテンプレートにthinking_mode="on"を渡すことで推論を行うデフォルトモードになります。非思考モード、つまり標準的な生成を使用するには、代わりにthinking_mode="off"をチャットテンプレートに渡します。

注意事項

ユーザーは、このモデルにはいくつかの制限があり、考慮する必要があることを認識することが重要です。多くのLLMと同様に、このモデルは幻覚を起こすことがあり、時々関連性のない内容を生成し、提供されたコンテキストに根拠のない架空の要素を導入することがあります。ユーザーはまた、モデルの推論に潜在的な不一致があるため、モデルの応答を解釈および検証する際に注意を払う必要があります。

🔧 技術詳細

• モデルタイプ: デコーダー
• トークナイザー: Llama 3.1 70B Instructのデフォルトトークナイザー
• コンテキスト長: 128k

📄 ライセンス

このモデルは、Llama 3.1 Community Licenseの下で提供されています。

制限事項

安全性

現在のSEA-LIONモデル（この商業的に許容されるリリースを含む）は、安全性に関してアライメントされていません。開発者とユーザーは、独自の安全性の微調整と関連するセキュリティ対策を実行する必要があります。いかなる場合も、著者は、公開された重みとコードの使用に起因するいかなる請求、損害、またはその他の責任について責任を負いません。

コントリビューションの呼びかけ

私たちは、研究者、開発者、言語愛好家に、SEA-LIONの改善と拡張に積極的に貢献することを奨励します。コントリビューションには、バグの特定と報告、事前学習、命令、および嗜好データの共有、ドキュメントの使いやすさの改善、新しいモデル評価タスクと指標の提案と実装、または追加の東南アジア言語でのモデルのバージョンのトレーニングが含まれます。これらのモデルをよりアクセスしやすく、正確で、汎用的にするために、あなたの専門知識と洞察を共有して、SEA-LIONの未来を形作りましょう。コントリビューションの呼びかけに関する詳細情報については、GitHubを確認してください。

チーム

Antonyrex Sajeban, Chan Adwin, Cheng Nicholas, Choa Esther, Huang Yuli, Hulagadri Adithya Venkatadri, Lau Wayne, Lee Chwan Ren, Leong Wai Yi, Leong Wei Qi, Liew Rachel, Limkonchotiwat Peerat, Liu Bing Jie Darius, Montalan Jann Railey, Ng Boon Cheong Raymond, Ngui Jian Gang, Nguyen Thanh Ngan, Ong Brandon, Ong Tat-Wee David, Ong Zhi Hao, Rengarajan Hamsawardhini, Siow Bryan, Susanto Yosephine, Tai Ngee Chia, Tan Choon Meng, Teng Walter, Teo Eng Sipp Leslie, Teo Wei Yi, Tjhi William, Yeo Yeow Tong, Yong Xianbin

謝辞

AI Singaporeは、シンガポール国立研究財団によって支援され、シンガポール国立大学によってホストされる国家プログラムです。この資料に表された意見、調査結果、結論、または推奨事項は、著者のものであり、国立研究財団またはシンガポール国立大学の見解を反映するものではありません。

お問い合わせ

詳細情報については、SEA-LION問い合わせフォームを使用してお問い合わせください。

SEA-LIONのGitHubリポジトリへのリンク

免責事項

これは、商業用の命令微調整されたモデルのリポジトリです。このモデルは、安全性に関してアライメントされていません。開発者とユーザーは、独自の安全性の微調整と関連するセキュリティ対策を実行する必要があります。いかなる場合も、著者は、公開された重みとコードの使用に起因するいかなる請求、損害、またはその他の責任について責任を負いません。