Llama 3.1 Swallow 70B Instruct V0.3

🚀 Llama 3.1 Swallow - Llamaで構築された大規模言語モデル

Llama 3.1 Swallowは、大規模言語モデル（8B、70B）のシリーズです。これらのモデルは、Meta Llama 3.1 モデルを基に継続的事前学習を行って構築されています。Llama 3.1 Swallowは、元のLlama 3.1の英語能力を維持しながら、日本語能力を強化しています。継続的事前学習には、大規模な日本語ウェブコーパス（Swallow Corpus Version 2）、日本語と英語のウィキペディア記事、数学やコーディングの内容などからサンプリングされた約2000億トークンを使用しています（ベースモデルの「Training Datasets」セクションを参照）。命令調整済みモデル（Instruct）は、日本語用に特別に構築された合成データを使って教師あり微調整（SFT）を行って構築されています。他のモデルバリアントについては、「Swallow Model Index」セクションを参照してください。

注意: Llama-3.1-Swallow-70B-Instruct-v0.3 は、Llama-3.1-Swallow-70B-v0.1 を命令データセットで調整したバージョンです。

🚀 クイックスタート

インストール

pip install vllm

使用例

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.3"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=4,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512, stop="<|eot_id|>"
)


message = [
    {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。"},
    {
        "role": "user",
        "content": "東京の紅葉した公園で、東京タワーと高層ビルを背景に、空を舞うツバメと草地に佇むラマが出会う温かな物語を書いてください。",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

✨ 主な機能

• 日本語能力の強化：元のLlama 3.1の英語能力を維持しながら、日本語能力を強化しています。
• 命令調整済みモデル：日本語用に特別に構築された合成データを使って教師あり微調整（SFT）を行っています。

📦 インストール

pip install vllm

💻 使用例

基本的な使用法

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.3"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=4,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512, stop="<|eot_id|>"
)


message = [
    {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。"},
    {
        "role": "user",
        "content": "東京の紅葉した公園で、東京タワーと高層ビルを背景に、空を舞うツバメと草地に佇むラマが出会う温かな物語を書いてください。",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

📚 ドキュメント

リリース履歴

• 2024年12月30日：Llama-3.1-Swallow-70B-Instruct-v0.3 をリリース。
• 2024年12月23日：Llama-3.1-Swallow-8B-Instruct-v0.3 をリリース。
• 2024年11月11日：Llama-3.1-Swallow-8B-v0.2 と Llama-3.1-Swallow-8B-Instruct-v0.2 をリリース。
• 2024年10月8日：Llama-3.1-Swallow-8B-v0.1、Llama-3.1-Swallow-8B-Instruct-v0.1、Llama-3.1-Swallow-70B-v0.1、および Llama-3.1-Swallow-70B-Instruct-v0.1 をリリース。

主要な更新点

このリリースでは、Llama 3.1 Swallowの会話能力を強化しています。更新されたモデルであるLlama-3.1-Swallow-70B-Instruct-v0.3は、ユーザーの命令と会話履歴に基づいて、有益で詳細な応答を生成します。Llama-3.1-Swallow-70B-Instruct-v0.3は、その前身である Llama-3.1-Swallow-70B-Instruct-v0.1 よりも、日本語のMT-Benchで5.68ポイント上回っています。

Swallowモデルインデックス

ウェブサイト https://swallow-llm.github.io/ では、Swallowチームによって開発された大規模言語モデルを提供しています。

モデルの詳細

モデルの性能

MT-Bench JA

日本語タスク

英語タスク

評価ベンチマーク

MT-Bench JA

Japanese MT-Bench を使用して、以下の設定でマルチターン対話能力を評価しました。

• 実装: FastChat [Zheng+, 2023] (コミット #e86e70d0)
• 質問: Nejumi LLM-Leaderboard NEO, mtbench_ja_question_v3
• 参照回答: Nejumi LLM-Leaderboard NEO, mtbench_ja_referenceanswer_v1
• 評価用プロンプト: Nejumi LLM-Leaderboard NEO, mtbench_ja_prompt_v1
• 評価者: gpt-4-1106-preview
• スコアリング: 0-1の範囲に正規化された絶対スケール、5回の実行で平均化。

日本語評価ベンチマーク

llm-jp-eval(v1.3.0)、JP Language Model Evaluation Harness(コミット #9b42d41)、および Code Generation LM Evaluation Harness(コミット #0261c52) を使用しました。詳細は以下の通りです。

• 選択式質問応答 (JCommonsenseQA [Kurihara et al., 2022])
• 自由記述式質問応答 (JEMHopQA [Ishii et al., 2024])
• 自由記述式質問応答 (NIILC [関根, 2003])
• 機械読解 (JSQuAD [Kurihara et al., 2022])
• 自動要約 (XL-Sum [Hasan et al., 2021])
• 機械翻訳 (WMT2020 ja-en [Barrault et al., 2020])
• 機械翻訳 (WMT2020 en-ja [Barrault et al., 2020])
• 数学的推論 (MGSM [Shi et al., 2023])
• 学術試験 (JMMLU [尹ら, 2024])
• コード生成 (JHumanEval [佐藤ら, 2024])

英語評価ベンチマーク

Language Model Evaluation Harness(v.0.4.2) および Code Generation LM Evaluation Harness(コミット #0261c52) を使用しました。詳細は以下の通りです。

• 選択式質問応答 (OpenBookQA [Mihaylov et al., 2018])
• 自由記述式質問応答 (TriviaQA [Joshi et al., 2017])
• 機械読解 (SQuAD2 [Rajpurkar et al., 2018])
• 常識推論 (XWINO [Tikhonov and Ryabinin, 2021])
• 自然言語推論 (HellaSwag [Zellers et al., 2019])
• 数学的推論 (GSM8K [Cobbe et al., 2021])
• 推論 (BBH (BIG-Bench-Hard) [Suzgun et al., 2023])
• 学術試験 (MMLU [Hendrycks et al., 2021])
• コード生成 (HumanEval [Chen et al., 2021])

トレーニングデータセット

命令調整

命令調整には、以下のデータセットを使用しました。

• Gemma-2-LMSYS-Chat-1M-Synth
  • lmsys-chat-1m から合成および派生されたマルチターン日本語命令データセット [Zhang+, ICLR24]。
  • 最初のターンのユーザー命令はDeepL（機械翻訳）を介して日本語に翻訳され、アシスタントの応答は gemma-2-27b-it を使用して生成されました。同じモデルである gemma-2-27b-it が棄却サンプリングの評価者として機能しました（n=6）。
  • 2番目のターンのユーザー命令と応答は、gemma-2-27b-it を使用して合成されました。同じモデルが2番目のターンの応答の品質を1-10の範囲で評価します。スコアが9未満の2番目のターンの応答とそれに対応する命令は棄却されます。個人を特定できる情報（PII）を含む会話とテンプレートベースのユーザー命令は削除されました。重複する命令も削除されました。
• Swallow-Magpie-Ultra-v0.1
  • filtered-magpie-ultra-en データセットの日本語バリアントで、gemma-2-27b-it で日本語に翻訳されています。
• Swallow-Gemma-Magpie-v0.1
  • gemma-2-27b-it で生成された、ゼロから作成された日本語合成命令調整データセット。ユーザー命令は各トピックに特化したプロンプトで作成され、これらの命令に対するアシスタントの応答が生成されました。
  • 会話は品質と長さについてヒューリスティックにフィルタリングされました。その後、gemma-2-27b-it を使用して各会話の品質を1-10の範囲で評価しました。スコアが7以下の会話は棄却されました。

🔧 技術詳細

• モデルアーキテクチャの詳細については、Llama 3.1 MODEL_CARD を参照してください。
• トークナイザーの詳細については、Llama 3.1 blog を参照してください。

📄 ライセンス

META LLAMA 3.1 COMMUNITY LICENSE および Gemma Terms of Use

著者

チームメンバーは以下の通りです。

• 東京工業大学岡崎研究室 からのメンバー：
  • 岡崎直樹
  • 水樹栄
  • 馬友美
  • 前田浩樹
  • 服部駆
  • 大井正成
  • 島田日菜里
  • 塩谷大平
  • 斎藤浩志郎
• 東京工業大学横田研究室 からのメンバー：
  • 横田理央
  • 藤井和樹
  • 中村大史
  • 岡本匠
  • 石田重樹
• 国立研究開発法人産業技術総合研究所 人工知能研究センター からのメンバー：
  • 高村博也

引用方法

当研究が役立った場合は、以下の論文を引用していただけると幸いです。

@inproceedings{Fujii:COLM2024,
   title={Continual Pre-Training for Cross-Lingual LLM Adaptation:
Enhancing Japanese Language Capabilities},
   author={Kazuki Fujii and Taishi Nakamura and Mengsay Loem and Hiroki
Iida and Masanari Ohi and Kakeru Hattori and Hirai Shota and Sakae
Mizuki and Rio Yokota and Naoaki Okazaki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@inproceedings{Okazaki:COLM2024,
   title={Building a Large Japanese Web Corpus for Large Language Models},
   author={Naoaki Okazaki and Kakeru Hattori and Hirai Shota and Hiroki
Iida and Masanari Ohi and Kazuki Fujii and Taishi Nakamura and Mengsay
Loem and Rio Yokota and Sakae Mizuki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@misc{ma:arxiv2025,
      title={Building Instruction-Tuning Datasets from Human-Written Instructions with Open-Weight Large Language Models}, 
      author={Youmi Ma and Sakae Mizuki and Kazuki Fujii and Taishi Nakamura and Masanari Ohi and Hinari Shimada and Taihei Shiotani and Koshiro Saito and Koki Maeda and Kakeru Hattori and Takumi Okamoto and Shigeki Ishida and Rio Yokota and Hiroya Takamura and Naoaki Okazaki},
      year={2025},
      eprint={2503.23714},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2503.23714}, 
}

参考文献

@misc{dubey2024llama3herdmodels,
      title={The Llama 3 Herd of Models}, 
      author={Abhimanyu Dubey and Abhinav Jauhri and Abhinav Pandey and Abhishek Kadian and Ahmad Al-Dahle and Aiesha Letman and Akhil Mathur and Alan Schelten and Amy Yang and Angela Fan et al.},
      year={2024},
      eprint={2407.21783},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2407.21783}, 
}