Gemma 2 Llama Swallow 27b It V0.1

🚀 Gemma-2-Llama-Swallow

Gemma-2-Llama-Swallow系列模型是在gemma-2模型的基礎上進行持續預訓練而構建的。Gemma 2 Swallow在保留英文能力的同時，增強了原版Gemma 2的日語能力。我們使用了大約2000億個標記進行持續預訓練，這些標記是從一個大型日語網絡語料庫（Swallow語料庫版本2）、日語和英文維基百科文章以及數學和編碼內容等中採樣得到的（詳見基礎模型的訓練數據集部分）。指令微調模型（it）是通過在專門為日語構建的合成數據上進行有監督微調（SFT）而構建的。請參閱Swallow模型索引部分以查找其他模型變體。該模型基於Gemma和Llama構建。

🚀 快速開始

你可以按照以下步驟使用Gemma-2-Llama-Swallow模型：

pip install vllm

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Gemma-2-Llama-Swallow-27b-it-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512,
)


message = [
    {
        "role": "user",
        "content": "日本の春から夏の移り変わりについて教えてください",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

✨ 主要特性

• 多語言能力：Gemma-2-Llama-Swallow系列模型在保留英文能力的同時，顯著增強了日語能力，能夠處理多種語言的任務。
• 持續預訓練：通過在大規模的日語網絡語料庫、維基百科文章以及數學和編碼內容等數據上進行持續預訓練，模型的性能得到了進一步提升。
• 指令微調：使用專門為日語構建的合成數據進行有監督微調，使模型在多輪對話和特定任務上表現更出色。

📦 安裝指南

你可以使用以下命令安裝所需的依賴庫：

pip install vllm

💻 使用示例

基礎用法

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Gemma-2-Llama-Swallow-27b-it-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512,
)


message = [
    {
        "role": "user",
        "content": "日本の春から夏の移り変わりについて教えてください",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

📚 詳細文檔

模型詳情

發佈歷史

• 2025年5月19日：發佈了Gemma-2-Llama-Swallow-2b-pt-v0.1、Gemma-2-Llama-Swallow-9b-pt-v0.1、Gemma-2-Llama-Swallow-27b-pt-v0.1、Gemma-2-Llama-Swallow-2b-it-v0.1、Gemma-2-Llama-Swallow-9b-it-v0.1和Gemma-2-Llama-Swallow-27b-it-v0.1。

Swallow模型索引

該網站https://swallow-llm.github.io/提供了Swallow團隊開發的大語言模型。

模型性能

MT-Bench JA

日語任務

英語任務

評估基準

MT-Bench JA

我們使用日語MT-Bench來評估多輪對話能力，設置如下：

• 實現方式：FastChat [Zheng+, 2023]（提交記錄 #e86e70d0）
• 問題：Nejumi LLM-Leaderboard NEO, mtbench_ja_question_v4
• 參考答案：Nejumi LLM-Leaderboard NEO, mtbench_ja_referenceanswer_v2的修訂版，我們對其中的錯誤答案進行了驗證和修正。該修訂版已隨swallow-evaluation Ver. 202411發佈。
• 評判提示：Nejumi LLM-Leaderboard NEO, mtbench_ja_prompt_v1
• 評判模型：gpt-4o-2024-08-06
• 評分方式：絕對尺度歸一化到0-1範圍，五次運行取平均值。

日語評估基準

我們使用了llm-jp-eval(v1.3.0)、JP Language Model Evaluation Harness（提交記錄 #9b42d41）和Code Generation LM Evaluation Harness（提交記錄 #0261c52）。具體細節如下：

• 多項選擇題回答（JCommonsenseQA [Kurihara et al., 2022]）
• 開放式問題回答（JEMHopQA [Ishii et al., 2024]）
• 開放式問題回答（NIILC [Èñ¢Ê†π, 2003]）
• 機器閱讀理解（JSQuAD [Kurihara et al., 2022]）
• 自動摘要（XL-Sum [Hasan et al., 2021]）
• 機器翻譯（WMT2020 en-ja [Barrault et al., 2020]）
• 機器翻譯（WMT2020 ja-en [Barrault et al., 2020]）
• 數學推理（MGSM [Shi et al., 2023]）
• 學術考試（JMMLU [Â∞π„Çâ, 2024]）
• 代碼生成（JHumanEval [‰ΩêËó§„Çâ, 2024]）

英語評估基準

我們使用了Language Model Evaluation Harness（v.0.4.2）和Code Generation LM Evaluation Harness（提交記錄 #0261c52）。具體細節如下：

• 多項選擇題回答（OpenBookQA [Mihaylov et al., 2018]）
• 開放式問題回答（TriviaQA [Joshi et al., 2017]）
• 機器閱讀理解（SQuAD2 [Rajpurkar et al., 2018]）
• 常識推理（XWINO [Tikhonov and Ryabinin, 2021]）
• 自然語言推理（HellaSwag [Zellers et al., 2019]）
• 數學推理（GSM8K [Cobbe et al., 2021]）
• 數學推理（MATH [Hendrycks et al., 2022][Lightman et al., 2024]）
• 推理（BBH (BIG-Bench-Hard) [Suzgun et al., 2023]）
• 學術考試（MMLU [Hendrycks et al., 2021]）
• 代碼生成（HumanEval [Chen et al., 2021]）

評估腳本可在swallow-llm/swallow-evaluation中找到，標籤為v202411。

訓練數據集

指令微調

以下數據集用於指令微調：

• Gemma-2-LMSYS-Chat-1M-Synth
  • 基於lmsys-chat-1m合成和派生的多輪日語指令數據集 [Zhang+, ICLR24]。
  • 首輪用戶指令通過DeepL（機器翻譯）翻譯成日語，助手回覆使用gemma-2-27b-it生成。同一模型，即gemma-2-27b-it作為拒絕採樣的評判模型（n = 6）。
  • 第二輪用戶指令和回覆使用gemma-2-27b-it合成。同一模型對第二輪迴復的質量進行評分，範圍為1-10。得分低於9的第二輪迴復及其對應的指令將被拒絕。
  • 移除包含個人身份信息（PII）和基於模板的用戶指令的對話。移除重複的指令。
• Swallow-Magpie-Ultra-v0.1
  • filtered-magpie-ultra-en數據集的日語變體，由gemma-2-27b-it翻譯成日語。
• Swallow-Gemma-Magpie-v0.1
  • 一個全新的日語合成指令微調數據集，由gemma-2-27b-it生成。用戶指令是針對每個主題的特定提示創建的，助手回覆是為這些指令生成的。
  • 對話經過啟發式過濾以確保質量和長度。然後，使用gemma-2-27b-it對每個對話的質量進行評分，範圍為1-10。得分 <= 7的對話將被拒絕。

🔧 技術細節

Gemma-2-Llama-Swallow系列模型是在gemma-2模型的基礎上進行持續預訓練而構建的。在持續預訓練過程中，使用了大約2000億個標記，這些標記來自大型日語網絡語料庫、日語和英文維基百科文章以及數學和編碼內容等。指令微調模型（it）是通過在專門為日語構建的合成數據上進行有監督微調（SFT）而構建的。

📄 許可證

Gemma使用條款和META LLAMA 3.3社區許可證

致謝

我們感謝Google DeepMind以寬鬆的開源許可證發佈Gemma 2。

我們獲得了以下各方面的支持：

• AIST項目：“物理領域生成式AI基礎模型的研究與開發”
• NEDO項目：“基於熟練人員視角的設計風險評估工作中支持判斷的人工智能應用技術開發”（JPNP18002），屬於“下一代人工智能和機器人核心集成技術開發”項目
• MEXT項目：“構建確保生成式AI模型透明度和可靠性的研發中心”
• AIST計劃：大型生成式AI開發支持計劃
• TPU研究雲

作者

團隊成員包括：

• 來自東京工業大學科學研究所岡崎實驗室的成員：
  • 岡崎直明
  • 水樹栄
  • 馬有米
  • 前田浩樹
  • 服部駆
  • 大井將成
  • 島田日成
  • 塩谷大平
  • 齋藤浩志郎
• 來自東京工業大學科學研究所橫田實驗室的成員：
  • 橫田理央
  • 藤井和樹
  • 中村大史
  • 岡本匠
  • 石田重樹
  • 田島悠人
  • 川村正樹
• 來自日本產業技術綜合研究所人工智能研究中心的成員：
  • 高村宏也

引用方式

如果您認為我們的工作有幫助，請隨時引用以下論文：

@inproceedings{Fujii:COLM2024,
   title={Continual Pre-Training for Cross-Lingual LLM Adaptation:
Enhancing Japanese Language Capabilities},
   author={Kazuki Fujii and Taishi Nakamura and Mengsay Loem and Hiroki
Iida and Masanari Ohi and Kakeru Hattori and Hirai Shota and Sakae
Mizuki and Rio Yokota and Naoaki Okazaki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@inproceedings{Okazaki:COLM2024,
   title={Building a Large Japanese Web Corpus for Large Language Models},
   author={Naoaki Okazaki and Kakeru Hattori and Hirai Shota and Hiroki
Iida and Masanari Ohi and Kazuki Fujii and Taishi Nakamura and Mengsay
Loem and Rio Yokota and Sakae Mizuki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@misc{ma:arxiv2025,
      title={Building Instruction-Tuning Datasets from Human-Written Instructions with Open-Weight Large Language Models},
      author={Youmi Ma and Sakae Mizuki and Kazuki Fujii and Taishi Nakamura and Masanari Ohi and Hinari Shimada and Taihei Shiotani and Koshiro Saito and Koki Maeda and Kakeru Hattori and Takumi Okamoto and Shigeki Ishida and Rio Yokota and Hiroya Takamura and Naoaki Okazaki},
      year={2025},
      eprint={2503.23714},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2503.23714},
}

參考文獻

@misc{gemmateam2024gemma2improvingopen,
      title={Gemma 2: Improving Open Language Models at a Practical Size},
      author={Gemma Team},
      year={2024},
      eprint={2408.00118},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2408.00118},
}

風險與限制

此處發佈的模型仍處於我們研究和開發的早期階段，尚未進行調整以確保輸出符合人類意圖和安全考慮。

⚠️ 重要提示

此處發佈的模型仍處於研究和開發的早期階段，尚未進行調整以確保輸出符合人類意圖和安全考慮。

💡 使用建議

在使用模型時，請參考模型的詳細文檔和評估結果，根據具體需求選擇合適的模型。同時，注意遵守相關的許可證規定。