Llama 3.1 Swallow 8B Instruct V0.3

🚀 Llama 3.1 Swallow - Llamaで構築された大規模言語モデル

Llama 3.1 Swallowは、大規模言語モデルのシリーズ（8B、70B）です。これらのモデルは、Meta Llama 3.1モデルを継続的に事前学習することで構築されています。Llama 3.1 Swallowは、元のLlama 3.1の英語能力を維持しながら、日本語能力を強化しています。継続的な事前学習には、大規模な日本語ウェブコーパス（Swallow Corpus Version 2）、日本語と英語のウィキペディア記事、数学やコーディングの内容などからサンプリングされた約2000億トークンを使用しています（ベースモデルのトレーニングデータセットのセクションを参照）。命令調整されたモデル（Instruct）は、日本語用に特別に構築された合成データで教師あり微調整（SFT）することで構築されています。他のモデルバリアントについては、Swallow Model Indexセクションを参照してください。

注意: Llama-3.1-Swallow-8B-Instruct-v0.3モデルは、meta-llama/Llama-3.1-8B-Instructから継続的に事前学習され、その後、独自の命令データセットで命令調整されています。

🚀 クイックスタート

インストール

pip install vllm

使用例

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Llama-3.1-Swallow-8B-Instruct-v0.3"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512, stop="<|eot_id|>"
)


message = [
    {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。"},
    {
        "role": "user",
        "content": "東京の紅葉した公園で、東京タワーと高層ビルを背景に、空を舞うツバメと草地に佇むラマが出会う温かな物語を書いてください。",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

✨ 主な機能

• Llama 3.1の英語能力を維持しながら、日本語能力を強化。
• 最新バージョンのLlama-3.1-Swallow-8B-Instruct-v0.3は、ユーザーの命令と会話履歴に基づいて、有益で詳細な応答を生成。
• パラメータが80億以下のすべてのオープンソースの大規模言語モデルの中で、日本語のMT-Benchで最先端の性能を発揮。

📦 インストール

pip install vllm

💻 使用例

基本的な使用法

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Llama-3.1-Swallow-8B-Instruct-v0.3"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512, stop="<|eot_id|>"
)


message = [
    {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。"},
    {
        "role": "user",
        "content": "東京の紅葉した公園で、東京タワーと高層ビルを背景に、空を舞うツバメと草地に佇むラマが出会う温かな物語を書いてください。",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

📚 ドキュメント

リリース履歴

• 2024年12月23日: Llama-3.1-Swallow-8B-Instruct-v0.3をリリース。
• 2024年11月11日: Llama-3.1-Swallow-8B-v0.2とLlama-3.1-Swallow-8B-Instruct-v0.2をリリース。
• 2024年10月08日: Llama-3.1-Swallow-8B-v0.1、Llama-3.1-Swallow-8B-Instruct-v0.1、Llama-3.1-Swallow-70B-v0.1、およびLlama-3.1-Swallow-70B-Instruct-v0.1をリリース。

主な更新内容

このリリースでは、Llama 3.1 Swallowの会話能力が強化されています。更新されたモデルであるLlama-3.1-Swallow-8B-Instruct-v0.3は、ユーザーの命令と会話履歴に基づいて、有益で詳細な応答を生成します。パラメータが80億以下のすべてのオープンソースの大規模言語モデルの中で、Llama-3.1-Swallow-8B-Instruct-v0.3は、日本語のMT-Benchで最先端の性能を発揮し、その前身であるLlama-3.1-Swallow-8B-Instruct-v0.2を8.4ポイント上回っています。

Swallowモデルインデックス

ウェブサイト https://swallow-llm.github.io/ では、Swallowチームによって開発された大規模言語モデルを提供しています。

モデル詳細

モデル性能

MT-Bench JA

日本語タスク

英語タスク

評価ベンチマーク

MT-Bench JA

Japanese MT-Benchを使用して、以下の設定でマルチターン対話の能力を評価しました。

• 実装: FastChat [Zheng+, 2023] (コミット #e86e70d0)
• 質問: Nejumi LLM-Leaderboard NEO, mtbench_ja_question_v3
• 参照回答: Nejumi LLM-Leaderboard NEO, mtbench_ja_referenceanswer_v1
• 評価者用のプロンプト: Nejumi LLM-Leaderboard NEO, mtbench_ja_prompt_v1
• 評価者: gpt-4-1106-preview
• スコアリング: 0-1の範囲に正規化された絶対スケール、5回の実行の平均。

日本語評価ベンチマーク

llm-jp-eval(v1.3.0)、JP Language Model Evaluation Harness(コミット #9b42d41)、およびCode Generation LM Evaluation Harness(コミット #0261c52)を使用しました。詳細は以下の通りです。

• 選択式質問応答 (JCommonsenseQA [Kurihara et al., 2022])
• 自由回答式質問応答 (JEMHopQA [Ishii et al., 2024])
• 自由回答式質問応答 (NIILC [関根, 2003])
• 機械読解 (JSQuAD [Kurihara et al., 2022])
• 自動要約 (XL-Sum [Hasan et al., 2021])
• 機械翻訳 (WMT2020 ja-en [Barrault et al., 2020])
• 機械翻訳 (WMT2020 en-ja [Barrault et al., 2020])
• 数学的推論 (MGSM [Shi et al., 2023])
• 学術試験 (JMMLU [尹ら, 2024])
• コード生成 (JHumanEval [佐藤ら, 2024])

英語評価ベンチマーク

Language Model Evaluation Harness(v.0.4.2)およびCode Generation LM Evaluation Harness(コミット #0261c52)を使用しました。詳細は以下の通りです。

• 選択式質問応答 (OpenBookQA [Mihaylov et al., 2018])
• 自由回答式質問応答 (TriviaQA [Joshi et al., 2017])
• 機械読解 (SQuAD2 [Rajpurkar et al., 2018])
• 常識推論 (XWINO [Tikhonov and Ryabinin, 2021])
• 自然言語推論 (HellaSwag [Zellers et al., 2019])
• 数学的推論 (GSM8K [Cobbe et al., 2021])
• 推論 (BBH (BIG-Bench-Hard) [Suzgun et al., 2023])
• 学術試験 (MMLU [Hendrycks et al., 2021])
• コード生成 (HumanEval [Chen et al., 2021])

トレーニングデータセット

命令調整

以下のデータセットが命令調整に使用されました。

• Gemma-2-LMSYS-Chat-1M-Synth
  • lmsys-chat-1mから合成および派生されたマルチターンの日本語命令データセット [Zhang+, ICLR24]。
  • 最初のターンのユーザー命令は、DeepL（機械翻訳）を介して日本語に翻訳され、アシスタントの応答は、gemma-2-27b-itを使用して生成されました。同じモデルであるgemma-2-27b-itが、棄却サンプリングの評価者として機能しました（n = 6）。
  • 2番目のターンのユーザー命令と応答は、gemma-2-27b-itを使用して合成されました。同じモデルが、2番目のターンの応答の品質を1-10の範囲で評価します。スコアが9未満の2番目のターンの応答とそれに対応する命令は棄却されました。個人情報（PII）を含む会話とテンプレートベースのユーザー命令は削除されました。重複する命令も削除されました。
• Swallow-Magpie-Ultra-v0.1
  • filtered-magpie-ultra-enデータセットの日本語バリアントで、gemma-2-27b-itによって日本語に翻訳されています。
• Swallow-Gemma-Magpie-v0.1
  • gemma-2-27b-itによって生成された、ゼロから作成された日本語合成命令調整データセット。ユーザー命令は、各トピックに特化したプロンプトで作成され、それらの命令に対するアシスタントの応答が生成されました。
  • 会話は、品質と長さに関してヒューリスティックにフィルタリングされました。その後、gemma-2-27b-itが、各会話の品質を1-10の範囲で評価しました。スコアが7以下の会話は棄却されました。

🔧 技術詳細

• モデルアーキテクチャの詳細については、Llama 3.1 MODEL_CARDを参照してください。
• トークナイザーの詳細については、Llama 3.1 blogを参照してください。

📄 ライセンス

META LLAMA 3.1 COMMUNITY LICENSE および Gemma Terms of Use

謝辞

Meta Researchが、寛大なオープンライセンスの下でLlama 3.1を公開してくれたことに感謝します。

以下の様々な支援をいただきました。

• AISTプロジェクト: "物理ドメインにおける生成AIの基礎モデルの研究開発"
• NEDOプロジェクト: "熟練者の視点に基づく設計リスク評価作業における判断支援のための人工知能応用技術の開発" (JPNP18002) of "次世代人工知能とロボットの核心となる統合技術の開発"
• MEXTプロジェクト: "生成AIモデルの透明性と信頼性を確保するための研究開発拠点の形成"
• AISTプログラム: Large Generative AI Development Support Program

著者

以下は、チームメンバーです。

• 東京工業大学岡崎研究室からのメンバー:
  • 岡崎直明
  • 水樹栄
  • 馬由美
  • 前田浩樹
  • 服部駆
  • 大井正成
  • 島田日成
  • 塩谷大平
  • 齋藤浩志郎
• 東京工業大学横田研究室からのメンバー:
  • 横田莉央
  • 藤井和樹
  • 中村大史
  • 岡本拓海
  • 石田重樹
• 国立研究開発法人産業技術総合研究所 人工知能研究センターからのメンバー:
  • 高村宏也

引用方法

もし当研究が役に立った場合は、以下の論文を引用していただけると幸いです。

@inproceedings{Fujii:COLM2024,
   title={Continual Pre-Training for Cross-Lingual LLM Adaptation:
Enhancing Japanese Language Capabilities},
   author={Kazuki Fujii and Taishi Nakamura and Mengsay Loem and Hiroki
Iida and Masanari Ohi and Kakeru Hattori and Hirai Shota and Sakae
Mizuki and Rio Yokota and Naoaki Okazaki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@inproceedings{Okazaki:COLM2024,
   title={Building a Large Japanese Web Corpus for Large Language Models},
   author={Naoaki Okazaki and Kakeru Hattori and Hirai Shota and Hiroki
Iida and Masanari Ohi and Kazuki Fujii and Taishi Nakamura and Mengsay
Loem and Rio Yokota and Sakae Mizuki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@misc{ma:arxiv2025,
      title={Building Instruction-Tuning Datasets from Human-Written Instructions with Open-Weight Large Language Models}, 
      author={Youmi Ma and Sakae Mizuki and Kazuki Fujii and Taishi Nakamura and Masanari Ohi and Hinari Shimada and Taihei Shiotani and Koshiro Saito and Koki Maeda and Kakeru Hattori and Takumi Okamoto and Shigeki Ishida and Rio Yokota and Hiroya Takamura and Naoaki Okazaki},
      year={2025},
      eprint={2503.23714},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2503.23714}, 
}

参考文献

@misc{dubey2024llama3herdmodels,
      title={The Llama 3 Herd of Models}, 
      author={Abhimanyu Dubey and Abhinav Jauhri and Abhinav Pandey and Abhishek Kadian and Ahmad Al-Dahle and Aiesha Letman and Akhil Mathur and Alan Schelten and Amy Yang and Angela Fan et al.},
      year={2024},
      eprint={2407.21783},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2407.21783}, 
}

リスクと制限

ここで公開されているモデルは、まだ研究開発の初期段階にあり、出力が人間の意図や安全性の考慮に沿うように調整されていません。