Gemma 2 Llama Swallow 2b It V0.1

🚀 Gemma-2-Llama-Swallow

Gemma-2-Llama-Swallowシリーズは、gemma-2モデルを継続的に事前学習することで構築されました。Gemma 2 Swallowは、元のGemma 2の英語能力を維持しながら、日本語能力を強化しています。継続的な事前学習には、大規模な日本語ウェブコーパス（Swallowコーパスバージョン2）、日本語および英語のウィキペディア記事、数学やコーディングの内容などからサンプリングされた約2000億トークンを使用しています（ベースモデルの「Training Datasets」セクションを参照）。命令調整モデル（it）は、日本語用に特別に構築された合成データを使って教師あり微調整（SFT）を行うことで構築されました。他のモデルバリアントについては、「Swallow Model Index」セクションを参照してください。GemmaとLlamaを使用して構築されています。

🚀 クイックスタート

このセクションでは、Gemma-2-Llama-Swallowをすぐに使い始めるための手順を説明します。まずは必要なライブラリをインストールしましょう。

pip install vllm

次に、以下のPythonコードを使ってモデルをロードし、推論を行います。

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Gemma-2-Llama-Swallow-27b-it-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512,
)


message = [
    {
        "role": "user",
        "content": "日本の春から夏の移り変わりについて教えてください",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

✨ 主な機能

• 多言語対応：英語能力を維持しながら、日本語能力を強化しています。
• 継続的事前学習：大規模な日本語ウェブコーパスやウィキペディア記事などを使って継続的に事前学習されています。
• 命令調整モデル：日本語用に特別に構築された合成データを使って教師あり微調整が行われています。

📦 インストール

必要なライブラリをインストールするには、以下のコマンドを実行します。

pip install vllm

💻 使用例

基本的な使用法

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Gemma-2-Llama-Swallow-27b-it-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512,
)


message = [
    {
        "role": "user",
        "content": "日本の春から夏の移り変わりについて教えてください",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

📚 ドキュメント

Release History

• 2025年5月19日：Gemma-2-Llama-Swallow-2b-pt-v0.1、Gemma-2-Llama-Swallow-9b-pt-v0.1、Gemma-2-Llama-Swallow-27b-pt-v0.1、Gemma-2-Llama-Swallow-2b-it-v0.1、Gemma-2-Llama-Swallow-9b-it-v0.1、およびGemma-2-Llama-Swallow-27b-it-v0.1をリリースしました。

Swallow Model Index

ウェブサイトhttps://swallow-llm.github.io/では、Swallowチームによって開発された大規模言語モデルを提供しています。

Model Details

Model Performance

MT-Bench JA

日本語タスク

英語タスク

Evaluation Benchmarks

評価スクリプトは、swallow-llm/swallow-evaluationにあり、タグはv202411です。

MT-Bench JA

Japanese MT-Benchを使用して、以下の設定でマルチターン対話能力を評価しました。

• 実装: FastChat [Zheng+, 2023]（コミット #e86e70d0）
• 質問: Nejumi LLM-Leaderboard NEO, mtbench_ja_question_v4
• 参照回答: Nejumi LLM-Leaderboard NEO, mtbench_ja_referenceanswer_v2の修正版で、誤った回答を検証して修正しています。この修正版は、swallow-evaluation Ver. 202411とともにリリースされています。
• 判定用プロンプト: Nejumi LLM-Leaderboard NEO, mtbench_ja_prompt_v1
• 判定: gpt-4o-2024-08-06
• スコアリング: 0-1の範囲に正規化された絶対スケールで、5回の実行結果を平均しました。

日本語評価ベンチマーク

llm-jp-eval(v1.3.0)、JP Language Model Evaluation Harness（コミット #9b42d41）、およびCode Generation LM Evaluation Harness（コミット #0261c52）を使用しました。詳細は以下の通りです。

• 選択式質問応答（JCommonsenseQA [Kurihara et al., 2022]）
• 自由記述式質問応答（JEMHopQA [Ishii et al., 2024]）
• 自由記述式質問応答（NIILC [Èñ¢Ê†π, 2003]）
• 機械読解（JSQuAD [Kurihara et al., 2022]）
• 自動要約（XL-Sum [Hasan et al., 2021]）
• 機械翻訳（WMT2020 ja-en [Barrault et al., 2020]）
• 機械翻訳（WMT2020 en-ja [Barrault et al., 2020]）
• 数学的推論（MGSM [Shi et al., 2023]）
• 学術試験（JMMLU [Â∞π„Çâ, 2024]）
• コード生成（JHumanEval [‰ΩêËó§„Çâ, 2024]）

英語評価ベンチマーク

Language Model Evaluation Harness(v.0.4.2)とCode Generation LM Evaluation Harness（コミット #0261c52）を使用しました。詳細は以下の通りです。

• 選択式質問応答（OpenBookQA [Mihaylov et al., 2018]）
• 自由記述式質問応答（TriviaQA [Joshi et al., 2017]）
• 機械読解（SQuAD2 [Rajpurkar et al., 2018]）
• 常識推論（XWINO [Tikhonov and Ryabinin, 2021]）
• 自然言語推論（HellaSwag [Zellers et al., 2019]）
• 数学的推論（GSM8K [Cobbe et al., 2021]）
• 数学的推論（MATH [Hendrycks et al., 2022][Lightman et al., 2024]）
• 推論（BBH (BIG-Bench-Hard) [Suzgun et al., 2023]）
• 学術試験（MMLU [Hendrycks et al., 2021]）
• コード生成（HumanEval [Chen et al., 2021]）

Training Datasets

Instruction Tuning

命令調整には、以下のデータセットを使用しました。

• Gemma-2-LMSYS-Chat-1M-Synth
  • lmsys-chat-1mから合成および派生されたマルチターンの日本語命令データセット[Zhang+, ICLR24]。
  • 最初のターンのユーザー命令はDeepL（機械翻訳）を介して日本語に翻訳され、アシスタントの応答はgemma-2-27b-itを使用して生成されました。同じモデルであるgemma-2-27b-itが棄却サンプリングの判定器として使用されました（n=6）。
  • 2回目のターンのユーザー命令と応答は、gemma-2-27b-itを使用して合成されました。同じモデルが2回目のターンの応答の品質を1-10の範囲でスコアリングします。スコアが9未満の2回目の応答とそれに対応する命令は棄却されます。個人情報（PII）を含む会話やテンプレートベースのユーザー命令は削除されました。重複する命令も削除されました。
• Swallow-Magpie-Ultra-v0.1
  • filtered-magpie-ultra-enデータセットの日本語バリアントで、gemma-2-27b-itによって日本語に翻訳されています。
• Swallow-Gemma-Magpie-v0.1
  • gemma-2-27b-itによって生成された、ゼロから作成された日本語合成命令調整データセット。ユーザー命令は各トピックに特化したプロンプトで作成され、それらの命令に対するアシスタントの応答が生成されました。
  • 会話は品質と長さに基づいてヒューリスティックにフィルタリングされました。その後、gemma-2-27b-itを使用して各会話の品質を1-10の範囲でスコアリングしました。スコアが7以下の会話は棄却されました。

🔧 技術詳細

モデルアーキテクチャの詳細については、Gemma 2 paperを参照してください。また、トークナイザーの詳細についても同じ論文を参照してください。

📄 ライセンス

このプロジェクトは、gemmaおよびllama3.3のライセンスの下で提供されています。

⚠️ 重要提示

ここで公開されているモデルは、まだ研究開発の初期段階にあり、出力が人間の意図や安全性の考慮に沿うように調整されていません。

💡 使用建议

• モデルの性能を評価する際には、提供されている評価ベンチマークを使用してください。
• 命令調整に使用されるデータセットの詳細を確認することで、モデルの特性をより深く理解できます。