Gemma 2 Llama Swallow 27b It V0.1

🚀 Gemma-2-Llama-Swallow

Gemma-2-Llama-Swallowシリーズは、gemma-2モデルを継続的に事前学習することで構築されました。Gemma 2 Swallowは、元のGemma 2の英語能力を維持しながら、日本語能力を強化しています。継続的な事前学習には、大規模な日本語ウェブコーパス（Swallowコーパスバージョン2）、日本語と英語のウィキペディア記事、数学やコーディングの内容などからサンプリングされた約2000億トークンを使用しています（ベースモデルの「Training Datasets」セクションを参照）。命令調整済みモデル（it）は、日本語用に特別に構築された合成データを用いた教師あり微調整（SFT）によって構築されました。他のモデルバリアントについては、「Swallow Model Index」セクションを参照してください。GemmaとLlamaを使用して構築されています。

🚀 クイックスタート

このモデルを使用するには、まず必要なライブラリをインストールします。

pip install vllm

次に、以下のPythonコードを使用してモデルを実行できます。

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Gemma-2-Llama-Swallow-27b-it-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512,
)


message = [
    {
        "role": "user",
        "content": "日本の春から夏の移り変わりについて教えてください",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

✨ 主な機能

• Gemma-2-Llama-Swallowシリーズは、Gemma 2モデルをベースに継続的な事前学習を行い、日本語能力を強化しています。
• 命令調整済みモデルは、日本語用に特別に構築された合成データを用いた教師あり微調整によって構築されています。
• 複数の評価ベンチマークで良好な性能を示しています。

📦 インストール

必要なライブラリをインストールするには、以下のコマンドを実行します。

pip install vllm

💻 使用例

基本的な使用法

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Gemma-2-Llama-Swallow-27b-it-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512,
)


message = [
    {
        "role": "user",
        "content": "日本の春から夏の移り変わりについて教えてください",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

📚 ドキュメント

リリース履歴

• 2025年5月19日：Gemma-2-Llama-Swallow-2b-pt-v0.1、Gemma-2-Llama-Swallow-9b-pt-v0.1、Gemma-2-Llama-Swallow-27b-pt-v0.1、Gemma-2-Llama-Swallow-2b-it-v0.1、Gemma-2-Llama-Swallow-9b-it-v0.1、Gemma-2-Llama-Swallow-27b-it-v0.1をリリースしました。

Swallowモデルインデックス

ウェブサイト https://swallow-llm.github.io/ では、Swallowチームによって開発された大規模言語モデルを提供しています。

モデル詳細

モデル性能

MT-Bench JA

日本語タスク

英語タスク

評価ベンチマーク

評価スクリプトは、swallow-llm/swallow-evaluationにあり、タグはv202411です。

MT-Bench JA

以下の設定で、Japanese MT-Benchを使用して、マルチターン対話能力を評価しました。

• 実装: FastChat [Zheng+, 2023] (コミット #e86e70d0)
• 質問: Nejumi LLM-Leaderboard NEO, mtbench_ja_question_v4
• 参照回答: Nejumi LLM-Leaderboard NEO, mtbench_ja_referenceanswer_v2の修正版で、誤った回答を検証して修正しています。この修正版は、swallow-evaluation Ver. 202411とともにリリースされています。
• 判定用プロンプト: Nejumi LLM-Leaderboard NEO, mtbench_ja_prompt_v1
• 判定: gpt-4o-2024-08-06
• スコアリング: 0-1の範囲に正規化された絶対スケールで、5回の実行結果を平均しました。

日本語評価ベンチマーク

llm-jp-eval(v1.3.0)、JP Language Model Evaluation Harness(コミット #9b42d41)、Code Generation LM Evaluation Harness(コミット #0261c52)を使用しました。詳細は以下の通りです。

• 選択式質問応答 (JCommonsenseQA [Kurihara et al., 2022])
• 自由回答式質問応答 (JEMHopQA [Ishii et al., 2024])
• 自由回答式質問応答 (NIILC [Èñ¢Ê†π, 2003])
• 機械読解 (JSQuAD [Kurihara et al., 2022])
• 自動要約 (XL-Sum [Hasan et al., 2021])
• 機械翻訳 (WMT2020 en-ja [Barrault et al., 2020])
• 機械翻訳 (WMT2020 ja-en [Barrault et al., 2020])
• 数学的推論 (MGSM [Shi et al., 2023])
• 学術試験 (JMMLU [Â∞π„Çâ, 2024])
• コード生成 (JHumanEval [‰ΩêËó§„Çâ, 2024])

英語評価ベンチマーク

Language Model Evaluation Harness(v.0.4.2)、Code Generation LM Evaluation Harness(コミット #0261c52)を使用しました。詳細は以下の通りです。

• 選択式質問応答 (OpenBookQA [Mihaylov et al., 2018])
• 自由回答式質問応答 (TriviaQA [Joshi et al., 2017])
• 機械読解 (SQuAD2 [Rajpurkar et al., 2018])
• 常識推論 (XWINO [Tikhonov and Ryabinin, 2021])
• 自然言語推論 (HellaSwag [Zellers et al., 2019])
• 数学的推論 (GSM8K [Cobbe et al., 2021])
• 数学的推論 (MATH [Hendrycks et al., 2022][Lightman et al., 2024])
• 推論 (BBH (BIG-Bench-Hard) [Suzgun et al., 2023])
• 学術試験 (MMLU [Hendrycks et al., 2021])
• コード生成 (HumanEval [Chen et al., 2021])

トレーニングデータセット

命令調整

命令調整には、以下のデータセットを使用しました。

• Gemma-2-LMSYS-Chat-1M-Synth
  • lmsys-chat-1mから合成および派生されたマルチターン日本語命令データセット [Zhang+, ICLR24]。
  • 最初のターンのユーザー命令は、DeepL（機械翻訳）を介して日本語に翻訳され、アシスタントの応答は、gemma-2-27b-itを使用して生成されました。同じモデルであるgemma-2-27b-itが、棄却サンプリングの判定に使用されました（n=6）。
  • 2回目のターンのユーザー命令と応答は、gemma-2-27b-itを使用して合成されました。同じモデルで、2回目のターンの応答の品質を1-10の範囲で評価しました。スコアが9未満の応答とそれに対応する命令は棄却されました。個人情報を含む会話やテンプレートベースのユーザー命令は削除されました。重複する命令も削除されました。
• Swallow-Magpie-Ultra-v0.1
  • filtered-magpie-ultra-enデータセットの日本語バリアントで、gemma-2-27b-itによって日本語に翻訳されました。
• Swallow-Gemma-Magpie-v0.1
  • ゼロから生成された日本語合成命令調整データセットで、gemma-2-27b-itによって生成されました。ユーザー命令は、各トピックに特化したプロンプトで作成され、それに対するアシスタントの応答が生成されました。
  • 会話は、品質と長さに基づいてヒューリスティックにフィルタリングされました。その後、gemma-2-27b-itを使用して、各会話の品質を1-10の範囲で評価しました。スコアが7以下の会話は棄却されました。

🔧 技術詳細

Gemma-2-Llama-Swallowシリーズは、Gemma 2モデルを継続的に事前学習することで構築されています。事前学習には、大規模な日本語ウェブコーパス、日本語と英語のウィキペディア記事、数学やコーディングの内容などからサンプリングされた約2000億トークンを使用しています。命令調整済みモデルは、日本語用に特別に構築された合成データを用いた教師あり微調整によって構築されています。

📄 ライセンス

• gemma
• llama3.3