Llama SEA LION V3 8B IT

🚀 Llama-SEA-LION-v3-8B-IT

SEA-LIONは、東南アジア地域向けに事前学習と命令微調整を行った大規模言語モデル（LLM）のコレクションです。このモデルは、東南アジアの様々な言語に対応し、多様なタスクでの性能を向上させることを目的としています。

🚀 クイックスタート

Llama-SEA-LION-v3-8B-ITは、Transformersライブラリを使用して実行できます。以下に基本的な使用例を示します。

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3-8B-IT"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

✨ 主な機能

• 多言語対応：ビルマ語、中国語、英語、フィリピン語、インドネシア語、ジャワ語、クメール語、ラオス語、マレー語、スンダ語、タミル語、タイ語、ベトナム語など、東南アジアの様々な言語に対応しています。
• 命令追従機能：ユーザーの命令に従って適切な応答を生成することができます。
• 高い汎用言語能力：様々なタスクで良好な性能を発揮します。

📦 インストール

Llama-SEA-LION-v3-8B-ITを使用するには、Transformersライブラリをインストールする必要があります。以下のコマンドを使用してインストールできます。

pip install transformers torch

📚 ドキュメント

モデル詳細

モデル説明

Llama-SEA-LION-v3-8B-ITは、Llama 3.1アーキテクチャを使用したデコーダーモデルであるcontinued pre-trained Llama-SEA-LION-v3-8Bに対して、英語とインドネシア語、ジャワ語、スンダ語、タミル語、タイ語、ベトナム語などの東南アジア言語で命令微調整を行って作成されました。

トークン化には、Llama 3.1 8B Instructで使用されるデフォルトのトークナイザーが使用されています。モデルのコンテキスト長は128kです。

ベンチマーク性能

Llama-SEA-LION-v3-8B-ITは、汎用言語能力と命令追従能力の両方について評価されています。

汎用言語能力

汎用言語能力の評価には、SEA-HELM評価ベンチマークを使用し、様々なタスクで評価を行いました。これらのタスクには、質問応答（QA）、感情分析（Sentiment）、毒性検出（Toxicity）、双方向の翻訳（Eng>Lang & Lang>Eng）、要約生成（Abssum）、因果推論（Causal）、自然言語推論（NLI）、および言語診断（LINDSEA）が含まれます。

注意：SEA-HELMは、厳格な形式で回答を引出すためのプロンプトを使用して実装されています。すべてのタスクで、モデルは回答タグを提供する必要があり、そこから回答が自動的に抽出されます。選択肢が提供されるタスクでは、回答は事前定義された選択肢の1つで構成する必要があります。各タスクのスコアは、ランダムな確率によるベースライン性能を考慮して正規化されています。

評価は、各データセットの100 - 1000インスタンスのサンプルに対して、ネイティブプロンプトを使用したゼロショットで行われました。

命令追従能力

Llama-SEA-LION-v3-8B-ITは命令追従モデルであるため、2つのデータセット、SEA-IFEval（IFEvalに基づく）とSEA-MTBench（MT-Benchに基づく）を使用して命令追従能力についても評価されています。

これら2つのデータセットは元々英語で作成されたため、チーム内の言語学者とネイティブスピーカーが協力して、データセットをフィルタリング、ローカライズ、およびそれぞれのターゲット言語に翻訳し、例が合理的、意味のある、自然なものになるようにしました。

SEA-IFEval

SEA-IFEvalは、モデルがプロンプトに提供された制約に従う能力を評価します。例えば、特定の単語/フレーズで応答を開始するか、特定のセクション数で回答するなどです。さらに、精度は正しい言語での応答の割合によって正規化されます（モデルがタスクを正しく実行しても誤った言語で応答した場合、タスクに失敗したと判断されます）。

SEA-MTBench

SEA-MTBenchは、モデルがマルチターン（2ターン）の会話に参加し、人間のニーズに合致する方法で応答する能力を評価します。判定モデルとしてgpt-4-1106-previewを使用し、ベースラインモデルとしてgpt-3.5-turbo-0125と比較します。使用される指標は、ベースラインモデルに対する加重勝率です（すなわち、各カテゴリ：数学、推論、STEM、人文科学、ロールプレイ、執筆、抽出の平均勝率）。引き分けは0.5のスコアが与えられます。

Llama-SEA-LION-v3-8B-ITのベンチマーク性能の詳細については、SEA-HELMリーダーボード（https://leaderboard.sea-lion.ai/）を参照してください。

古いリビジョンへのアクセス

Huggingfaceは、リビジョンパラメータをサポートしており、ユーザーは日付でタグ付けされたモデルの古いバージョンにアクセスすることができます。

import transformers
import torch

model_id = "aisingapore/Llama-SEA-LION-v3-8B-IT"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    revision="18.12.2024", # ここでリビジョンを指定します。
    device_map="auto",
)
messages = [
    {"role": "user", "content": "Apa sentimen dari kalimat berikut ini?\nKalimat: Buku ini sangat membosankan.\nJawaban: "},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

注意事項

ユーザーは、当社のモデルにはいくつかの制限があることを認識することが重要です。多くのLLMと同様に、モデルは幻覚を起こすことがあり、時々関連性のない内容を生成し、提供されたコンテキストに基づかない架空の要素を導入することがあります。また、モデルの推論には潜在的な不一致があるため、ユーザーはモデルの応答を解釈および検証する際に注意を払う必要があります。

🔧 技術詳細

• モデルタイプ：デコーダー
• トークン化：Llama 3.1 8B Instructで使用されるデフォルトのトークナイザー
• コンテキスト長：128k

📄 ライセンス

このモデルは、Llama 3.1 Community Licenseの下で提供されています。

制限事項

安全性

現在のSEA-LIONモデル（この商業的に許容されるリリースを含む）は、安全性に関してアラインメントされていません。開発者とユーザーは、独自の安全性の微調整と関連するセキュリティ対策を実行する必要があります。いかなる場合も、著者は公開された重みとコードの使用に起因するいかなる請求、損害、またはその他の責任について責任を負いません。

コントリビューションの呼びかけ

私たちは、研究者、開発者、および言語愛好家に、SEA-LIONの改善と拡張に積極的に貢献することを奨励します。コントリビューションには、バグの特定と報告、事前学習、命令、および嗜好データの共有、ドキュメントの使いやすさの改善、新しいモデル評価タスクと指標の提案と実装、または追加の東南アジア言語でのモデルのバージョンのトレーニングなどが含まれます。これらのモデルをよりアクセスしやすく、正確で、汎用的なものにするために、あなたの専門知識と洞察を共有し、SEA-LIONの未来を形作るために私たちに参加してください。コントリビューションの呼びかけに関する詳細情報については、GitHubを確認してください。

チーム

Chan Adwin, Cheng Nicholas, Choa Esther, Huang Yuli, Hulagadri Adithya Venkatadri, Lau Wayne, Lee Chwan Ren, Leong Wai Yi, Leong Wei Qi, Limkonchotiwat Peerat, Liu Bing Jie Darius, Montalan Jann Railey, Ng Boon Cheong Raymond, Ngui Jian Gang, Nguyen Thanh Ngan, Ong Brandon, Ong Tat - Wee David, Ong Zhi Hao, Rengarajan Hamsawardhini, Siow Bryan, Susanto Yosephine, Tai Ngee Chia, Tan Choon Meng, Teng Walter, Teo Eng Sipp Leslie, Teo Wei Yi, Tjhi William, Yeo Yeow Tong, Yong Xianbin

謝辞

AI Singaporeは、シンガポール国立研究財団によって支援され、シンガポール国立大学によって主催される国家プログラムです。この資料に表されている意見、調査結果、結論、または推奨事項は、著者のものであり、国立研究財団またはシンガポール国立大学の見解を反映するものではありません。

連絡先

詳細情報については、SEA-LION問い合わせフォームを使用してお問い合わせください。

SEA-LIONのGitHubリポジトリへのリンク

免責事項

これは商業用の命令微調整モデルのリポジトリです。モデルは安全性に関してアラインメントされていません。開発者とユーザーは、独自の安全性の微調整と関連するセキュリティ対策を実行する必要があります。いかなる場合も、著者は公開された重みとコードの使用に起因するいかなる請求、損害、またはその他の責任について責任を負いません。