Llama 3 Swallow 8B Instruct V0.1

🚀 Llama3 Swallow - Meta Llama 3をベースに構築

Llama3 Swallowモデルは、Llama 3シリーズ をベースに継続的な事前学習を行い、主に日本語データを追加しています。指令バージョンでは、教師付き微調整（SFT）とチャットベクトル技術を使用しています。他のモデルのリンクはインデックスで確認できます。

🚀 クイックスタート

pip install vllm

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Llama-3-Swallow-8B-Instruct-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512, stop="<|eot_id|>"
)


message = [
    {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。"},
    {
        "role": "user",
        "content": "東京の夜空に打ち上がっている花火の下、向かい合っている燕とラマの温かい物語を書いてください。",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

✨ 主な機能

• 多言語対応：日本語と英語をサポートし、異なる言語のタスクを処理できます。
• 継続的事前学習：Llama 3シリーズをベースに継続的な事前学習を行い、モデルの性能を向上させています。
• 指令微調整：教師付き微調整（SFT）とチャットベクトル技術を使用し、モデルの指令追従能力を向上させています。

📦 インストール

必要なライブラリをインストールするには、以下のコマンドを実行します。

pip install vllm

💻 使用例

基本的な使用法

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Llama-3-Swallow-8B-Instruct-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512, stop="<|eot_id|>"
)


message = [
    {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。"},
    {
        "role": "user",
        "content": "東京の夜空に打ち上がっている花火の下、向かい合っている燕とラマの温かい物語を書いてください。",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

📚 ドキュメント

モデル詳細

モデル性能

日本語タスク

英語タスク

MT-Bench JA

評価基準

日本語評価基準

llm-jp-eval(v1.3.0)、JP Language Model Evaluation Harness(コミット番号 #9b42d41)、および Code Generation LM Evaluation Harness(コミット番号 #0261c52) を使用しました。詳細は以下の通りです。

• 選択肢付き質問回答（JCommonsenseQA [Kuriharaら，2022]）
• オープンエンド質問回答（JEMHopQA [Ishiiら，2024]）
• オープンエンド質問回答（NIILC [関根，2003]）
• 機械読解（JSQuAD [Kuriharaら，2022]）
• 自動要約（XL-Sum [Hasanら，2021]）
• 機械翻訳（WMT2020 ja-en [Barraultら，2020]）
• 機械翻訳（WMT2020 en-ja [Barraultら，2020]）
• 数学的推論（MGSM [Shiら，2023]）
• 学術試験（JMMLU [尹ら，2024]）
• コード生成（JHumanEval [佐藤ら，2024]）

英語評価基準

Language Model Evaluation Harness(v.0.4.2) と Code Generation LM Evaluation Harness(コミット番号 #0261c52) を使用しました。詳細は以下の通りです。

• 選択肢付き質問回答（OpenBookQA [Mihaylovら，2018]）
• オープンエンド質問回答（TriviaQA [Joshiら，2017]）
• 機械読解（SQuAD2 [Rajpurkarら，2018]）
• 常識推論（XWINO [TikhonovとRyabinin，2021]）
• 自然言語推論（HellaSwag [Zellersら，2019]）
• 数学的推論（GSM8K [Cobbeら，2021]）
• 推論（BBH (BIG-Bench-Hard) [Suzgunら，2023]）
• 学術試験（MMLU [Hendrycksら，2021]）
• コード生成（HumanEval [Chenら，2021]）

MT-Bench JA

Japanese MT-Bench を使用して、モデルの指令追従能力を評価しました。以下の設定を使用しました。

• 実装方法：FastChat [Zheng+，2023]（コミット番号 #e86e70d0）
• 問題：Nejumi LLM-Leaderboard NEO, mtbench_ja_question_v3
• 参考答案：Nejumi LLM-Leaderboard NEO, mtbench_ja_referenceanswer_v1
• 評価プロンプト：Nejumi LLM-Lederboard NEO, mtbench_ja_prompt_v1
• 評価モデル：gpt-4-1106-preview
• スコアリング方法：絶対尺度を0 - 1の範囲に正規化し、5回の実行結果の平均値を使用します。

訓練データセット

指令微調整

以下のデータセットを指令微調整に使用しました。

• OpenAssistant Conversations Dataset EN top-1 thread
• OpenAssistant Conversations Dataset の人間の発言を使用し、返信は使用しません。返信は Mixtral-8x7B-Instruct-v0.1 モデルで生成しました。

🔧 技術詳細

このプロジェクトは Megatron-LM ライブラリを使用して開発されています。モデルアーキテクチャの詳細については、Llama 3 MODEL_CARD を参照してください。トークナイザーの詳細については、Llama 3ブログ を参照してください。

📄 ライセンス

META LLAMA 3 COMMUNITY LICENSE

作者

以下はチームメンバーです。

• 東京工業大学岡崎研究室 のメンバー：
  • 岡崎直明
  • 水樹栄
  • 馬悠米
  • 前田航輝
  • 服部佳輝
  • 大井正成
  • 塩谷太平
  • 斎藤浩志郎
• 東京工業大学横田研究室 のメンバー：
  • 横田理央
  • 藤井和樹
  • 中村大史
  • 岡本匠
  • 石田重樹
• 国立研究開発法人産業技術総合研究所人工知能研究センター のメンバー：
  • 高村宏也

引用方法

もし私たちの研究が役に立った場合は、ご自由に引用してください。

@inproceedings{Fujii:COLM2024,
   title={Continual Pre-Training for Cross-Lingual LLM Adaptation:
Enhancing Japanese Language Capabilities},
   author={Kazuki Fujii and Taishi Nakamura and Mengsay Loem and Hiroki
Iida and Masanari Ohi and Kakeru Hattori and Hirai Shota and Sakae
Mizuki and Rio Yokota and Naoaki Okazaki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@inproceedings{Okazaki:COLM2024,
   title={Building a Large Japanese Web Corpus for Large Language Models},
   author={Naoaki Okazaki and Kakeru Hattori and Hirai Shota and Hiroki
Iida and Masanari Ohi and Kazuki Fujii and Taishi Nakamura and Mengsay
Loem and Rio Yokota and Sakae Mizuki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

引用文献

@article{llama3modelcard,
    title={Llama 3 Model Card},
    author={AI@Meta},
    year={2024},
    url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

謝辞

Meta ResearchがLlama 3をオープンライセンスで公開し、その上で開発できるようにしてくれたことに感謝します。

私たちのプロジェクトは、国立研究開発法人産業技術総合研究所の 大型生成式AI開発支援プログラム による支援を受けています。

⚠️ 重要な注意事項

ここで公開されているモデルはまだ研究開発の初期段階にあり、出力が人間の意図や安全上の考慮に沿うように調整されていません。

💡 使用上の提案

モデルを使用する際には、実際のニーズに合わせて適切なモデルサイズとパラメータ設定を選択し、最適な性能を得てください。