Gemma 2 Llama Swallow 27b It V0.1

🚀 Gemma-2-Llama-Swallow

Gemma-2-Llama-Swallow系列模型是在gemma-2模型的基础上进行持续预训练而构建的。Gemma 2 Swallow在保留英文能力的同时，增强了原版Gemma 2的日语能力。我们使用了大约2000亿个标记进行持续预训练，这些标记是从一个大型日语网络语料库（Swallow语料库版本2）、日语和英文维基百科文章以及数学和编码内容等中采样得到的（详见基础模型的训练数据集部分）。指令微调模型（it）是通过在专门为日语构建的合成数据上进行有监督微调（SFT）而构建的。请参阅Swallow模型索引部分以查找其他模型变体。该模型基于Gemma和Llama构建。

🚀 快速开始

你可以按照以下步骤使用Gemma-2-Llama-Swallow模型：

pip install vllm

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Gemma-2-Llama-Swallow-27b-it-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512,
)


message = [
    {
        "role": "user",
        "content": "日本の春から夏の移り変わりについて教えてください",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

✨ 主要特性

• 多语言能力：Gemma-2-Llama-Swallow系列模型在保留英文能力的同时，显著增强了日语能力，能够处理多种语言的任务。
• 持续预训练：通过在大规模的日语网络语料库、维基百科文章以及数学和编码内容等数据上进行持续预训练，模型的性能得到了进一步提升。
• 指令微调：使用专门为日语构建的合成数据进行有监督微调，使模型在多轮对话和特定任务上表现更出色。

📦 安装指南

你可以使用以下命令安装所需的依赖库：

pip install vllm

💻 使用示例

基础用法

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Gemma-2-Llama-Swallow-27b-it-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512,
)


message = [
    {
        "role": "user",
        "content": "日本の春から夏の移り変わりについて教えてください",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

📚 详细文档

模型详情

发布历史

• 2025年5月19日：发布了Gemma-2-Llama-Swallow-2b-pt-v0.1、Gemma-2-Llama-Swallow-9b-pt-v0.1、Gemma-2-Llama-Swallow-27b-pt-v0.1、Gemma-2-Llama-Swallow-2b-it-v0.1、Gemma-2-Llama-Swallow-9b-it-v0.1和Gemma-2-Llama-Swallow-27b-it-v0.1。

Swallow模型索引

该网站https://swallow-llm.github.io/提供了Swallow团队开发的大语言模型。

模型性能

MT-Bench JA

日语任务

英语任务

评估基准

MT-Bench JA

我们使用日语MT-Bench来评估多轮对话能力，设置如下：

• 实现方式：FastChat [Zheng+, 2023]（提交记录 #e86e70d0）
• 问题：Nejumi LLM-Leaderboard NEO, mtbench_ja_question_v4
• 参考答案：Nejumi LLM-Leaderboard NEO, mtbench_ja_referenceanswer_v2的修订版，我们对其中的错误答案进行了验证和修正。该修订版已随swallow-evaluation Ver. 202411发布。
• 评判提示：Nejumi LLM-Leaderboard NEO, mtbench_ja_prompt_v1
• 评判模型：gpt-4o-2024-08-06
• 评分方式：绝对尺度归一化到0-1范围，五次运行取平均值。

日语评估基准

我们使用了llm-jp-eval(v1.3.0)、JP Language Model Evaluation Harness（提交记录 #9b42d41）和Code Generation LM Evaluation Harness（提交记录 #0261c52）。具体细节如下：

• 多项选择题回答（JCommonsenseQA [Kurihara et al., 2022]）
• 开放式问题回答（JEMHopQA [Ishii et al., 2024]）
• 开放式问题回答（NIILC [Èñ¢Ê†π, 2003]）
• 机器阅读理解（JSQuAD [Kurihara et al., 2022]）
• 自动摘要（XL-Sum [Hasan et al., 2021]）
• 机器翻译（WMT2020 en-ja [Barrault et al., 2020]）
• 机器翻译（WMT2020 ja-en [Barrault et al., 2020]）
• 数学推理（MGSM [Shi et al., 2023]）
• 学术考试（JMMLU [Â∞π„Çâ, 2024]）
• 代码生成（JHumanEval [‰ΩêËó§„Çâ, 2024]）

英语评估基准

我们使用了Language Model Evaluation Harness（v.0.4.2）和Code Generation LM Evaluation Harness（提交记录 #0261c52）。具体细节如下：

• 多项选择题回答（OpenBookQA [Mihaylov et al., 2018]）
• 开放式问题回答（TriviaQA [Joshi et al., 2017]）
• 机器阅读理解（SQuAD2 [Rajpurkar et al., 2018]）
• 常识推理（XWINO [Tikhonov and Ryabinin, 2021]）
• 自然语言推理（HellaSwag [Zellers et al., 2019]）
• 数学推理（GSM8K [Cobbe et al., 2021]）
• 数学推理（MATH [Hendrycks et al., 2022][Lightman et al., 2024]）
• 推理（BBH (BIG-Bench-Hard) [Suzgun et al., 2023]）
• 学术考试（MMLU [Hendrycks et al., 2021]）
• 代码生成（HumanEval [Chen et al., 2021]）

评估脚本可在swallow-llm/swallow-evaluation中找到，标签为v202411。

训练数据集

指令微调

以下数据集用于指令微调：

• Gemma-2-LMSYS-Chat-1M-Synth
  • 基于lmsys-chat-1m合成和派生的多轮日语指令数据集 [Zhang+, ICLR24]。
  • 首轮用户指令通过DeepL（机器翻译）翻译成日语，助手回复使用gemma-2-27b-it生成。同一模型，即gemma-2-27b-it作为拒绝采样的评判模型（n = 6）。
  • 第二轮用户指令和回复使用gemma-2-27b-it合成。同一模型对第二轮回复的质量进行评分，范围为1-10。得分低于9的第二轮回复及其对应的指令将被拒绝。
  • 移除包含个人身份信息（PII）和基于模板的用户指令的对话。移除重复的指令。
• Swallow-Magpie-Ultra-v0.1
  • filtered-magpie-ultra-en数据集的日语变体，由gemma-2-27b-it翻译成日语。
• Swallow-Gemma-Magpie-v0.1
  • 一个全新的日语合成指令微调数据集，由gemma-2-27b-it生成。用户指令是针对每个主题的特定提示创建的，助手回复是为这些指令生成的。
  • 对话经过启发式过滤以确保质量和长度。然后，使用gemma-2-27b-it对每个对话的质量进行评分，范围为1-10。得分 <= 7的对话将被拒绝。

🔧 技术细节

Gemma-2-Llama-Swallow系列模型是在gemma-2模型的基础上进行持续预训练而构建的。在持续预训练过程中，使用了大约2000亿个标记，这些标记来自大型日语网络语料库、日语和英文维基百科文章以及数学和编码内容等。指令微调模型（it）是通过在专门为日语构建的合成数据上进行有监督微调（SFT）而构建的。

📄 许可证

Gemma使用条款和META LLAMA 3.3社区许可证

致谢

我们感谢Google DeepMind以宽松的开源许可证发布Gemma 2。

我们获得了以下各方面的支持：

• AIST项目：“物理领域生成式AI基础模型的研究与开发”
• NEDO项目：“基于熟练人员视角的设计风险评估工作中支持判断的人工智能应用技术开发”（JPNP18002），属于“下一代人工智能和机器人核心集成技术开发”项目
• MEXT项目：“构建确保生成式AI模型透明度和可靠性的研发中心”
• AIST计划：大型生成式AI开发支持计划
• TPU研究云

作者

团队成员包括：

• 来自东京工业大学科学研究所冈崎实验室的成员：
  • 冈崎直明
  • 水树栄
  • 马有米
  • 前田浩树
  • 服部駆
  • 大井将成
  • 岛田日成
  • 塩谷大平
  • 斋藤浩志郎
• 来自东京工业大学科学研究所横田实验室的成员：
  • 横田理央
  • 藤井和树
  • 中村大史
  • 冈本匠
  • 石田重树
  • 田岛悠人
  • 川村正树
• 来自日本产业技术综合研究所人工智能研究中心的成员：
  • 高村宏也

引用方式

如果您认为我们的工作有帮助，请随时引用以下论文：

@inproceedings{Fujii:COLM2024,
   title={Continual Pre-Training for Cross-Lingual LLM Adaptation:
Enhancing Japanese Language Capabilities},
   author={Kazuki Fujii and Taishi Nakamura and Mengsay Loem and Hiroki
Iida and Masanari Ohi and Kakeru Hattori and Hirai Shota and Sakae
Mizuki and Rio Yokota and Naoaki Okazaki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@inproceedings{Okazaki:COLM2024,
   title={Building a Large Japanese Web Corpus for Large Language Models},
   author={Naoaki Okazaki and Kakeru Hattori and Hirai Shota and Hiroki
Iida and Masanari Ohi and Kazuki Fujii and Taishi Nakamura and Mengsay
Loem and Rio Yokota and Sakae Mizuki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@misc{ma:arxiv2025,
      title={Building Instruction-Tuning Datasets from Human-Written Instructions with Open-Weight Large Language Models},
      author={Youmi Ma and Sakae Mizuki and Kazuki Fujii and Taishi Nakamura and Masanari Ohi and Hinari Shimada and Taihei Shiotani and Koshiro Saito and Koki Maeda and Kakeru Hattori and Takumi Okamoto and Shigeki Ishida and Rio Yokota and Hiroya Takamura and Naoaki Okazaki},
      year={2025},
      eprint={2503.23714},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2503.23714},
}

参考文献

@misc{gemmateam2024gemma2improvingopen,
      title={Gemma 2: Improving Open Language Models at a Practical Size},
      author={Gemma Team},
      year={2024},
      eprint={2408.00118},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2408.00118},
}

风险与限制

此处发布的模型仍处于我们研究和开发的早期阶段，尚未进行调整以确保输出符合人类意图和安全考虑。

⚠️ 重要提示

此处发布的模型仍处于研究和开发的早期阶段，尚未进行调整以确保输出符合人类意图和安全考虑。

💡 使用建议

在使用模型时，请参考模型的详细文档和评估结果，根据具体需求选择合适的模型。同时，注意遵守相关的许可证规定。