Gemma 2 Llama Swallow 9b It V0.1

🚀 Gemma-2-Llama-Swallow

Gemma-2-Llama-Swallow系列模型是在gemma-2模型的基礎上進行持續預訓練構建而成。Gemma 2 Swallow在保留英文能力的同時，增強了原Gemma 2模型的日語能力。我們使用了大約2000億個標記進行持續預訓練，這些標記是從大型日語網絡語料庫（Swallow語料庫版本2）、日語和英語維基百科文章以及數學和編碼內容等中採樣得到的（詳見基礎模型的訓練數據集部分）。指令微調模型（it）是通過在專門為日語構建的合成數據上進行有監督微調（SFT）構建而成。查看Swallow模型索引部分，可找到其他模型變體。本模型基於Gemma和Llama構建。

🚀 快速開始

以下是使用Gemma-2-Llama-Swallow模型的基本步驟：

pip install vllm

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Gemma-2-Llama-Swallow-27b-it-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512,
)


message = [
    {
        "role": "user",
        "content": "日本の春から夏の移り変わりについて教えてください",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

✨ 主要特性

• 多語言能力：在保留英文能力的同時，顯著增強了日語能力，能夠處理多種語言的任務。
• 持續預訓練：基於gemma-2模型進行持續預訓練，使用了大量的日語和英語數據，提升了模型的性能。
• 指令微調：通過在專門為日語構建的合成數據上進行有監督微調，使模型更適合日語指令任務。

📦 安裝指南

使用前需要安裝vllm庫：

pip install vllm

💻 使用示例

基礎用法

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Gemma-2-Llama-Swallow-27b-it-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512,
)


message = [
    {
        "role": "user",
        "content": "日本の春から夏の移り変わりについて教えてください",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

📚 詳細文檔

發佈歷史

• 2025年5月19日：發佈了Gemma-2-Llama-Swallow-2b-pt-v0.1、Gemma-2-Llama-Swallow-9b-pt-v0.1、Gemma-2-Llama-Swallow-27b-pt-v0.1、Gemma-2-Llama-Swallow-2b-it-v0.1、Gemma-2-Llama-Swallow-9b-it-v0.1和Gemma-2-Llama-Swallow-27b-it-v0.1。

Swallow模型索引

該網站https://swallow-llm.github.io/提供了Swallow團隊開發的大語言模型。

模型詳情

模型性能

MT-Bench JA

日語任務

英語任務

評估基準

評估腳本可在swallow-llm/swallow-evaluation找到，標籤為v202411。

MT-Bench JA

我們使用日語MT-Bench評估多輪對話能力，設置如下：

• 實現方式：FastChat [Zheng+, 2023]（提交編號 #e86e70d0）
• 問題：Nejumi LLM-Leaderboard NEO, mtbench_ja_question_v4
• 參考答案：Nejumi LLM-Leaderboard NEO, mtbench_ja_referenceanswer_v2的修訂版，我們對其中的錯誤答案進行了驗證和修正。此修訂版已隨swallow-evaluation 202411版本發佈。
• 評判提示：Nejumi LLM-Leaderboard NEO, mtbench_ja_prompt_v1
• 評判模型：gpt-4o-2024-08-06
• 評分方式：絕對尺度歸一化到0 - 1範圍，五次運行取平均值。

日語評估基準

我們使用了llm-jp-eval(v1.3.0)、JP Language Model Evaluation Harness（提交編號 #9b42d41）和Code Generation LM Evaluation Harness（提交編號 #0261c52）。詳情如下：

• 多項選擇題回答（JCommonsenseQA [Kurihara et al., 2022]）
• 開放式問題回答（JEMHopQA [Ishii et al., 2024]）
• 開放式問題回答（NIILC [Èñ¢Ê†π, 2003]）
• 機器閱讀理解（JSQuAD [Kurihara et al., 2022]）
• 自動摘要（XL-Sum [Hasan et al., 2021]）
• 機器翻譯（WMT2020 ja-en [Barrault et al., 2020]）
• 機器翻譯（WMT2020 en-ja [Barrault et al., 2020]）
• 數學推理（MGSM [Shi et al., 2023]）
• 學術考試（JMMLU [Â∞π„Çâ, 2024]）
• 代碼生成（JHumanEval [‰ΩêËó§„Çâ, 2024]）

英語評估基準

我們使用了Language Model Evaluation Harness(v.0.4.2)和Code Generation LM Evaluation Harness（提交編號 #0261c52）。詳情如下：

• 多項選擇題回答（OpenBookQA [Mihaylov et al., 2018]）
• 開放式問題回答（TriviaQA [Joshi et al., 2017]）
• 機器閱讀理解（SQuAD2 [Rajpurkar et al., 2018]）
• 常識推理（XWINO [Tikhonov and Ryabinin, 2021]）
• 自然語言推理（HellaSwag [Zellers et al., 2019]）
• 數學推理（GSM8K [Cobbe et al., 2021]）
• 數學推理（MATH [Hendrycks et al., 2022][Lightman et al., 2024]）
• 推理（BBH (BIG-Bench-Hard) [Suzgun et al., 2023]）
• 學術考試（MMLU [Hendrycks et al., 2021]）
• 代碼生成（HumanEval [Chen et al., 2021]）

訓練數據集

指令微調

以下數據集用於指令微調：

• Gemma-2-LMSYS-Chat-1M-Synth
  • 基於lmsys-chat-1m合成和派生的多輪日語指令數據集 [Zhang+, ICLR24]。
  • 首輪用戶指令通過DeepL（機器翻譯）翻譯成日語，助手回覆使用gemma-2-27b-it生成。同一模型gemma-2-27b-it作為評判模型進行拒絕採樣（n = 6）。
  • 第二輪用戶指令和回覆使用gemma-2-27b-it合成。同一模型對第二輪迴復的質量進行評分，範圍為1 - 10。得分低於9的第二輪迴復及其對應的指令將被拒絕。同時，刪除包含個人身份信息（PII）和基於模板的用戶指令，去除重複指令。
• Swallow-Magpie-Ultra-v0.1
  • filtered-magpie-ultra-en數據集的日語變體，由gemma-2-27b-it翻譯成日語。
• Swallow-Gemma-Magpie-v0.1
  • 一個全新的日語合成指令微調數據集，由gemma-2-27b-it生成。用戶指令通過針對每個主題的特定提示創建，助手回覆針對這些指令生成。
  • 對話內容根據質量和長度進行啟發式過濾。然後，使用gemma-2-27b-it對每個對話的質量進行評分，範圍為1 - 10。得分 <= 7的對話將被拒絕。

🔧 技術細節

本模型基於Gemma-2進行持續預訓練，並在專門為日語構建的合成數據上進行有監督微調。具體的模型架構和訓練細節請參考Gemma 2論文。

📄 許可證

本模型使用的許可證包括：

• gemma
• llama3.3

⚠️ 重要提示

這裡發佈的模型仍處於研究和開發的早期階段，尚未進行調整以確保輸出符合人類意圖和安全考慮。

💡 使用建議

在使用模型時，建議根據具體任務和需求調整採樣參數，以獲得更好的生成效果。同時，可參考評估基準部分的設置，對模型進行評估和優化。