Gemma 2 Llama Swallow 9b It V0.1

🚀 Gemma-2-Llama-Swallow

Gemma-2-Llama-Swallowシリーズのモデルは、gemma-2モデルをベースに持続的な事前学習を行うことで構築されています。Gemma 2 Swallowは、英語能力を維持しながら、元のGemma 2モデルの日本語能力を強化しています。約2000億個のトークンを使用して持続的な事前学習を行いました。これらのトークンは、大型の日本語ウェブコーパス（Swallowコーパスバージョン2）、日本語と英語のウィキペディア記事、数学やコーディングの内容などからサンプリングされています（詳細はベースモデルの学習データセットのセクションを参照）。命令微調整モデル（it）は、日本語用に構築された合成データで教師あり微調整（SFT）を行うことで構築されています。Swallowモデルインデックスのセクションを参照すると、他のモデルバリエーションを見つけることができます。本モデルはGemmaとLlamaをベースに構築されています。

🚀 クイックスタート

Gemma-2-Llama-Swallowモデルを使用する基本的な手順は以下の通りです。

pip install vllm

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Gemma-2-Llama-Swallow-27b-it-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512,
)


message = [
    {
        "role": "user",
        "content": "日本の春から夏の移り変わりについて教えてください",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

✨ 主な機能

• 多言語能力：英語能力を維持しながら、日本語能力を大幅に強化し、複数の言語のタスクを処理できます。
• 持続的な事前学習：gemma-2モデルをベースに、大量の日本語と英語のデータを使用して持続的な事前学習を行い、モデルの性能を向上させています。
• 命令微調整：日本語用に構築された合成データで教師あり微調整を行うことで、日本語の命令タスクにより適したモデルになっています。

📦 インストール

使用する前に、vllmライブラリをインストールする必要があります。

pip install vllm

💻 使用例

基本的な使用法

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Gemma-2-Llama-Swallow-27b-it-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512,
)


message = [
    {
        "role": "user",
        "content": "日本の春から夏の移り変わりについて教えてください",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

📚 ドキュメント

リリース履歴

• 2025年5月19日：Gemma-2-Llama-Swallow-2b-pt-v0.1、Gemma-2-Llama-Swallow-9b-pt-v0.1、Gemma-2-Llama-Swallow-27b-pt-v0.1、Gemma-2-Llama-Swallow-2b-it-v0.1、Gemma-2-Llama-Swallow-9b-it-v0.1、およびGemma-2-Llama-Swallow-27b-it-v0.1がリリースされました。

Swallowモデルインデックス

このウェブサイトhttps://swallow-llm.github.io/では、Swallowチームによって開発された大規模言語モデルを提供しています。

モデル詳細

モデル性能

MT-Bench JA

日本語タスク

英語タスク

評価基準

評価スクリプトは、swallow-llm/swallow-evaluationにあり、タグはv202411です。

MT-Bench JA

多輪対話能力を評価するために、日本語MT-Benchを使用しており、設定は以下の通りです。

• 実装方法：FastChat [Zheng+, 2023]（コミット番号 #e86e70d0）
• 問題：Nejumi LLM-Leaderboard NEO, mtbench_ja_question_v4
• 参考答案：Nejumi LLM-Leaderboard NEO, mtbench_ja_referenceanswer_v2の修正版で、誤った回答を検証して修正しています。この修正版は、swallow-evaluation 202411バージョンでリリースされています。
• 評価プロンプト：Nejumi LLM-Leaderboard NEO, mtbench_ja_prompt_v1
• 評価モデル：gpt-4o-2024-08-06
• 評価方法：絶対尺度を0 - 1の範囲に正規化し、5回の実行結果の平均値を取ります。

日本語評価基準

llm-jp-eval(v1.3.0)、JP Language Model Evaluation Harness（コミット番号 #9b42d41）、およびCode Generation LM Evaluation Harness（コミット番号 #0261c52）を使用しています。詳細は以下の通りです。

• 選択問題の回答（JCommonsenseQA [Kurihara et al., 2022]）
• オープンエンド型問題の回答（JEMHopQA [Ishii et al., 2024]）
• オープンエンド型問題の回答（NIILC [Èñ¢Ê†π, 2003]）
• 機械読解（JSQuAD [Kurihara et al., 2022]）
• 自動要約（XL-Sum [Hasan et al., 2021]）
• 機械翻訳（WMT2020 ja-en [Barrault et al., 2020]）
• 機械翻訳（WMT2020 en-ja [Barrault et al., 2020]）
• 数学的推論（MGSM [Shi et al., 2023]）
• 学術試験（JMMLU [Â∞π„Çâ, 2024]）
• コード生成（JHumanEval [‰ΩêËó§„Çâ, 2024]）

英語評価基準

Language Model Evaluation Harness(v.0.4.2)とCode Generation LM Evaluation Harness（コミット番号 #0261c52）を使用しています。詳細は以下の通りです。

• 選択問題の回答（OpenBookQA [Mihaylov et al., 2018]）
• オープンエンド型問題の回答（TriviaQA [Joshi et al., 2017]）
• 機械読解（SQuAD2 [Rajpurkar et al., 2018]）
• 常識推論（XWINO [Tikhonov and Ryabinin, 2021]）
• 自然言語推論（HellaSwag [Zellers et al., 2019]）
• 数学的推論（GSM8K [Cobbe et al., 2021]）
• 数学的推論（MATH [Hendrycks et al., 2022][Lightman et al., 2024]）
• 推論（BBH (BIG-Bench-Hard) [Suzgun et al., 2023]）
• 学術試験（MMLU [Hendrycks et al., 2021]）
• コード生成（HumanEval [Chen et al., 2021]）

学習データセット

命令微調整

以下のデータセットは命令微調整に使用されています。

• Gemma-2-LMSYS-Chat-1M-Synth
  • lmsys-chat-1mをベースに合成および派生された多輪日本語命令データセット [Zhang+, ICLR24]。
  • 最初のユーザー命令はDeepL（機械翻訳）を使用して日本語に翻訳され、アシスタントの回答はgemma-2-27b-itを使用して生成されています。同じモデルgemma-2-27b-itを評価モデルとして拒否サンプリング（n = 6）を行っています。
  • 2回目のユーザー命令と回答はgemma-2-27b-itを使用して合成されています。同じモデルで2回目の回答の品質を1 - 10の範囲で評価し、9未満の回答とそれに対応する命令は拒否されます。また、個人識別情報（PII）を含むユーザー命令やテンプレートベースのユーザー命令は削除され、重複する命令は取り除かれています。
• Swallow-Magpie-Ultra-v0.1
  • filtered-magpie-ultra-enデータセットの日本語バリエーションで、gemma-2-27b-itを使用して日本語に翻訳されています。
• Swallow-Gemma-Magpie-v0.1
  • 全く新しい日本語合成命令微調整データセットで、gemma-2-27b-itを使用して生成されています。ユーザー命令は各トピックに対する特定のプロンプトを使用して作成され、アシスタントの回答はそれらの命令に対して生成されています。
  • 会話内容は品質と長さに基づいてヒューリスティックにフィルタリングされています。その後、gemma-2-27b-itを使用して各会話の品質を1 - 10の範囲で評価し、7以下の会話は拒否されます。

🔧 技術詳細

本モデルはGemma-2をベースに持続的な事前学習を行い、日本語用に構築された合成データで教師あり微調整を行っています。具体的なモデルアーキテクチャと学習の詳細は、Gemma 2論文を参照してください。

📄 ライセンス

本モデルで使用されているライセンスは以下の通りです。

• gemma
• llama3.3

⚠️ 重要提示

ここで公開されているモデルはまだ研究と開発の初期段階にあり、出力が人間の意図や安全面の考慮に沿うように調整されていません。

💡 使用建议

モデルを使用する際には、具体的なタスクやニーズに応じてサンプリングパラメータを調整することで、より良い生成結果を得ることができます。また、評価基準のセクションの設定を参考にして、モデルを評価し最適化することもできます。