Llama SEA LION V3.5 70B R

🚀 Llama-SEA-LION-v3.5-70B-R

SEA-LIONは、東南アジア（SEA）地域向けに事前学習と命令微調整が行われた大規模言語モデル（LLM）のコレクションです。このモデルは、複雑な推論タスクと一般的なテキスト生成の両方を扱うことができます。

🚀 クイックスタート

現在のバージョン: 14.04.2025

✨ 主な機能

• 開発元: Products Pillar, AI Singapore
• 資金提供元: シンガポールNRF
• モデルタイプ: デコーダー
• サポート言語: ビルマ語、中国語、英語、フィリピン語、インドネシア語、ジャワ語、クメール語、ラオス語、マレー語、スンダ語、タミル語、タイ語、ベトナム語
• ライセンス: Llama 3.1 Community License

📚 ドキュメント

モデルの説明

Llama-SEA-LION-v3.5-70B-Rは、ハイブリッドモデルであり、複雑な推論タスクと一般的なテキスト生成の両方を扱うことができ、トークナイザーのチャットテンプレートを通じてモード選択を管理します。

私たちは、Instruction Tuned Llama-SEA-LION-v3-70B-IT（Llama 3.1アーキテクチャを使用したデコーダーモデル）に対して、英語とフィリピン語、インドネシア語、タミル語、タイ語、ベトナム語などの東南アジア言語でさらなる命令微調整を行い、Llama-SEA-LION-v3.5-70B-Rを作成しました。

トークン化には、Llama 3.1 70B Instructで使用されるデフォルトのトークナイザーを採用しています。このモデルのコンテキスト長は128kです。

ベンチマーク性能

私たちは、Llama-SEA-LION-v3.5-70B-Rの一般的な言語能力と命令追従能力の両方を評価しました。

一般的な言語能力

一般的な言語能力の評価には、SEA-HELM評価ベンチマークをさまざまなタスクにわたって使用しました。 これらのタスクには、質問応答（QA）、感情分析（Sentiment）、毒性検出（Toxicity）、双方向の翻訳（Eng>Lang & Lang>Eng）、要約生成（Abssum）、因果推論（Causal）、自然言語推論（NLI）、および言語診断（LINDSEA）が含まれます。

注意: SEA-HELMは、厳格な形式で回答を引出すためのプロンプトを使用して実装されています。すべてのタスクで、モデルは回答タグを提供することが期待されており、そこから回答が自動的に抽出されます。選択肢が提供されるタスクでは、回答は事前定義された選択肢の1つで構成する必要があります。各タスクのスコアは、ランダムな偶然によるベースライン性能を考慮して正規化されています。

評価は、各データセットの100 - 1000インスタンスのサンプルに対して、ネイティブプロンプトを使用してゼロショットで行われました。

命令追従能力

Llama-SEA-LION-v3.5-70B-Rは命令追従モデルであるため、命令追従能力についても2つのデータセット、SEA-IFEval（IFEvalに基づく）とSEA-MTBench（MT-Benchに基づく）を使用して評価しました。

これら2つのデータセットは元々英語であったため、チーム内の言語学者とネイティブスピーカーが協力して、データセットをフィルタリング、ローカライズ、およびそれぞれのターゲット言語に翻訳し、サンプルが合理的、意味があり、自然なものになるようにしました。

SEA-IFEval SEA-IFEvalは、モデルがプロンプトに含まれる制約条件に従う能力を評価します。たとえば、特定の単語/フレーズで応答を開始するか、特定のセクション数で回答するかなどです。さらに、正解率は正しい言語での応答の割合によって正規化されます（モデルがタスクを正しく実行しているが、誤った言語で応答した場合、タスクに失敗したと判断されます）。

SEA-MTBench SEA-MTBenchは、モデルがマルチターン（2ターン）の会話に参加し、人間のニーズに合致する方法で応答する能力を評価します。私たちは、判断モデルとしてgpt-4-1106-previewを使用し、ベースラインモデルとしてgpt-3.5-turbo-0125と比較しています。使用される指標は、ベースラインモデルに対する加重勝率（すなわち、各カテゴリ: 数学、推論、STEM、人文科学、ロールプレイ、執筆、抽出の平均勝率）です。引き分けの場合は0.5のスコアが与えられます。

Llama-SEA-LION-v3.5-70B-Rのベンチマーク性能の詳細については、SEA-HELMリーダーボード、https://leaderboard.sea-lion.ai/ を参照してください。

使用方法

Llama-SEA-LION-v3.5-70B-Rは、🤗 Transformersライブラリを使用して実行できます。

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-70B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

思考モードの切り替え

Llama-SEA-LION-v3.5-70B-Rは、チャットテンプレートにthinking_mode="on"を渡すことで推論モードがデフォルトに設定されています。非思考モード、つまり標準の生成を使用するには、代わりにthinking_mode="off"をチャットテンプレートに渡します。

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3.5-70B-R"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

tokenizer = pipeline.tokenizer

messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False, thinking_mode="off")

outputs = pipeline(
    prompt,
    max_new_tokens=256,
)

print(outputs[0]["generated_text"])

注意事項

ユーザーは、当社のモデルにはいくつかの制限があり、考慮する必要があることを認識することが重要です。多くのLLMと同様に、このモデルは幻覚を起こすことがあり、時々関係のない内容を生成し、提供されたコンテキストに根ざしていない架空の要素を導入することがあります。また、モデルの推論には一貫性がない可能性があるため、ユーザーはモデルの応答を解釈および検証する際に注意を払う必要があります。

🔧 技術詳細

安全性

現在のSEA-LIONモデル、この商業利用可能なリリースを含め、安全性に関して調整されていません。開発者とユーザーは、独自の安全性の微調整と関連するセキュリティ対策を実施する必要があります。いかなる場合も、著者は、公開された重みとコードの使用に起因するいかなる請求、損害、またはその他の責任について責任を負いません。

🤝 コントリビューション募集

私たちは、研究者、開発者、および言語愛好家に、SEA-LIONの改善と拡張に積極的に貢献することを奨励しています。貢献には、バグの特定と報告、事前学習、命令、および嗜好データの共有、ドキュメントの使いやすさの改善、新しいモデル評価タスクと指標の提案と実装、または追加の東南アジア言語でのモデルのバージョンのトレーニングが含まれます。あなたの専門知識と洞察を共有して、これらのモデルをよりアクセスしやすく、正確で、汎用的なものにすることで、SEA-LIONの未来を形作るために私たちに参加してください。コントリビューション募集の詳細については、GitHubを確認してください。

👥 チーム

Antonyrex Sajeban, Chan Adwin, Cheng Nicholas, Choa Esther, Huang Yuli, Hulagadri Adithya Venkatadri, Lau Wayne, Lee Chwan Ren, Leong Wai Yi, Leong Wei Qi, Liew Rachel, Limkonchotiwat Peerat, Liu Bing Jie Darius, Montalan Jann Railey, Ng Boon Cheong Raymond, Ngui Jian Gang, Nguyen Thanh Ngan, Ong Brandon, Ong Tat-Wee David, Ong Zhi Hao, Rengarajan Hamsawardhini, Siow Bryan, Susanto Yosephine, Tai Ngee Chia, Tan Choon Meng, Teng Walter, Teo Eng Sipp Leslie, Teo Wei Yi, Tjhi William, Yeo Yeow Tong, Yong Xianbin

🙏 謝辞

AI Singaporeは、シンガポール国立研究財団によって支援され、シンガポール国立大学によって主催される国家プログラムです。この資料に表されている意見、調査結果、結論、または推奨事項は、著者のものであり、国立研究財団またはシンガポール国立大学の見解を反映するものではありません。

📞 お問い合わせ

詳細については、SEA-LIONお問い合わせフォームを使用してお問い合わせください。

SEA-LIONのGitHubリポジトリへのリンク

📄 ライセンス

これは商業用命令微調整モデルのリポジトリです。 このモデルは安全性に関して調整されていません。 開発者とユーザーは、独自の安全性の微調整と関連するセキュリティ対策を実施する必要があります。 いかなる場合も、著者は、公開された重みとコードの使用に起因するいかなる請求、損害、またはその他の責任について責任を負いません。