Llama SEA LION V3 70B IT

🚀 Llama-SEA-LION-v3-70B-IT

SEA-LION は、東南アジア（SEA）地域向けに事前学習と命令調整が行われた一連の大規模言語モデル（LLM）です。

SEA-LION は Southeast Asian Languages In One Network（東南アジアの言語を一つのネットワークでカバー）を意味します。このモデルはシンガポールの人工知能会社のプロダクト支柱チームによって開発され、シンガポール国家研究財団によって資金提供されています。これはデコーダ型のモデルで、ミャンマー語、中国語、英語、フィリピン語、インドネシア語、ジャワ語、カンボジア語、ラオス語、マレー語、スンダ語、タミル語、タイ語、ベトナム語などの多言語をサポートし、Llama 3.1 コミュニティライセンスに従っています。

🚀 クイックスタート

モデル情報

モデルの実行

Llama-SEA-LION-v3-70B-IT は transformers ライブラリを使用して実行できます。

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3-70B-IT"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

旧バージョンへのアクセス

Huggingface は revision パラメータをサポートしており、ユーザーは日付でマークされたモデルの旧バージョンにアクセスできます。

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3-70B-IT"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    revision="18.12.2024", # ここでバージョンを指定
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

✨ 主な機能

モデルの説明

私たちは 持続的事前学習された Llama-SEA-LION-v3-70B 上で、英語とインドネシア語、ジャワ語、スンダ語、タミル語、タイ語、ベトナム語などの東南アジア言語の命令調整を行い、Llama-SEA-LION-v3-70B-IT を作成しました。このモデルは Llama 3.1 アーキテクチャを使用しており、デコーダモデルです。

トークン化に関しては、モデルは Llama 3.1 70B Instruct で使用されているデフォルトのトークナイザーを採用しており、コンテキスト長は 128k です。

ベンチマーク性能

私たちは Llama-SEA-LION-v3-70B-IT の一般的な言語能力と命令遵守能力を評価しました。

一般的な言語能力

一般的な言語能力を評価する際には、SEA-HELM 評価ベンチマークを使用しました。これは質問応答（QA）、感情分析（Sentiment）、毒性検出（Toxicity）、双方向翻訳（Eng>Lang & Lang>Eng）、抽象要約（Abssum）、因果推論（Causal）、自然言語推論（NLI）、言語診断（LINDSEA）などの様々なタスクをカバーしています。

注意: SEA-HELM は厳格な形式のプロンプトを使用して回答を引出します。すべてのタスクにおいて、モデルは回答ラベルを提供する必要があり、そこから自動的に回答が抽出されます。選択肢を提供するタスクの場合、回答には事前定義された選択肢の 1 つが含まれる必要があります。各タスクのスコアは、ランダムな確率によるベースライン性能を考慮して正規化されています。評価は各データセットの 100 - 1000 個のインスタンスに対して、ネイティブなプロンプトを使用した ゼロショット 評価で行われました。

命令遵守能力

Llama-SEA-LION-v3-70B-IT は命令遵守モデルであるため、私たちはまた、2 つのデータセット SEA-IFEval（IFEval をベースに）と SEA-MTBench（MT-Bench をベースに）を使用して、その命令遵守能力を評価しました。

これら 2 つのデータセットは当初英語で作成されていたため、チーム内の言語学者とネイティブスピーカーが共同でデータセットのフィルタリング、ローカライズ、翻訳を行い、例が依然として合理的、有意義、自然であることを確保しました。

SEA-IFEval SEA-IFEval は、モデルがプロンプトに提供された制約を遵守する能力を評価します。例えば、特定の単語/フレーズで応答を開始する、または特定の数の部分で回答するなどです。さらに、正確性は正しい言語での応答の割合によって正規化されます（モデルがタスクを正しく実行しても誤った言語で応答した場合、タスクは失敗と判定されます）。

SEA-MTBench SEA-MTBench は、モデルが多輪（2 輪）の対話を行い、人間のニーズに合った方法で応答する能力を評価します。私たちは gpt-4-1106-preview を評判モデルとして使用し、gpt-3.5-turbo-0125 をベースラインモデルと比較しました。使用される指標は、ベースラインモデルに対する加重勝率（すなわち、各カテゴリ：数学、推論、STEM、人文、ロールプレイ、執筆、抽出の平均勝率）です。引き分けは 0.5 点とします。

Llama-SEA-LION-v3-70B-IT のベンチマーク性能の詳細については、SEA-HELM ランキングボードを参照してください：https://leaderboard.sea-lion.ai/。

💻 使用例

基本的な使用法

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3-70B-IT"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

高度な使用法

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3-70B-IT"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    revision="18.12.2024", # 旧バージョンへのアクセス
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

🔧 技術詳細

モデルの制限

ユーザーは、私たちのモデルにいくつかの制限があることに注意する必要があります。多くの大規模言語モデルと同様に、このモデルは幻覚を生み出す可能性があり、時々関係のない内容を生成し、提供されたコンテキストと関係のない架空の要素を導入することがあります。モデルの推論には不一致がある可能性があるため、ユーザーはモデルの応答を解釈および検証する際には慎重に行う必要があります。

セキュリティ問題

現在の SEA-LION モデル、この商用ライセンスバージョンを含め、セキュリティアライメントが行われていません。開発者とユーザーは、独自にセキュリティ微調整と関連するセキュリティ対策を行う必要があります。作者は、公開された重みとコードの使用によって生じるいかなる請求、損害、またはその他の責任についても一切責任を負いません。

🤝 貢献呼びかけ

私たちは、研究者、開発者、言語愛好家に、SEA-LION の改善と拡張に積極的に貢献することを奨励します。貢献には、エラーの特定と報告、事前学習、命令、および嗜好データの共有、ドキュメントの可用性の向上、新しいモデル評価タスクと指標の提案と実装、またはより多くの東南アジア言語でのモデルバージョンのトレーニングなどが含まれます。貢献呼びかけに関する詳細は、私たちの GitHub を通じて確認してください。

👥 チームメンバー

Chan Adwin, Cheng Nicholas, Choa Esther, Huang Yuli, Hulagadri Adithya Venkatadri, Lau Wayne, Lee Chwan Ren, Leong Wai Yi, Leong Wei Qi, Limkonchotiwat Peerat, Liu Bing Jie Darius, Montalan Jann Railey, Ng Boon Cheong Raymond, Ngui Jian Gang, Nguyen Thanh Ngan, Ong Brandon, Ong Tat-Wee David, Ong Zhi Hao, Rengarajan Hamsawardhini, Siow Bryan, Susanto Yosephine, Tai Ngee Chia, Tan Choon Meng, Teng Walter, Teo Eng Sipp Leslie, Teo Wei Yi, Tjhi William, Yeo Yeow Tong, Yong Xianbin

🙏 謝辞

シンガポール人工知能会社 は、シンガポール国家研究財団によって支援され、シンガポール国立大学によって主催される国家プロジェクトです。本資料に表された意見、研究結果、結論、または提言はすべて著者の個人的な意見であり、国家研究財団またはシンガポール国立大学の見解を反映するものではありません。

📞 お問い合わせ

詳細情報が必要な場合は、SEA-LION 問い合わせフォーム を使用してお問い合わせください。

SEA-LION の GitHub リポジトリリンク

⚠️ 免責事項

これは商用命令調整モデルのリポジトリです。このモデルは セキュリティアライメントが行われていません。開発者とユーザーは、独自にセキュリティ微調整と関連するセキュリティ対策を行う必要があります。作者は、公開された重みとコードの使用によって生じるいかなる請求、損害、またはその他の責任についても一切責任を負いません。