Gemma 2 Llama Swallow 9b It V0.1

🚀 Gemma-2-Llama-Swallow

Gemma-2-Llama-Swallow系列模型是在gemma-2模型的基础上进行持续预训练构建而成。Gemma 2 Swallow在保留英文能力的同时，增强了原Gemma 2模型的日语能力。我们使用了大约2000亿个标记进行持续预训练，这些标记是从大型日语网络语料库（Swallow语料库版本2）、日语和英语维基百科文章以及数学和编码内容等中采样得到的（详见基础模型的训练数据集部分）。指令微调模型（it）是通过在专门为日语构建的合成数据上进行有监督微调（SFT）构建而成。查看Swallow模型索引部分，可找到其他模型变体。本模型基于Gemma和Llama构建。

🚀 快速开始

以下是使用Gemma-2-Llama-Swallow模型的基本步骤：

pip install vllm

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Gemma-2-Llama-Swallow-27b-it-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512,
)


message = [
    {
        "role": "user",
        "content": "日本の春から夏の移り変わりについて教えてください",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

✨ 主要特性

• 多语言能力：在保留英文能力的同时，显著增强了日语能力，能够处理多种语言的任务。
• 持续预训练：基于gemma-2模型进行持续预训练，使用了大量的日语和英语数据，提升了模型的性能。
• 指令微调：通过在专门为日语构建的合成数据上进行有监督微调，使模型更适合日语指令任务。

📦 安装指南

使用前需要安装vllm库：

pip install vllm

💻 使用示例

基础用法

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "tokyotech-llm/Gemma-2-Llama-Swallow-27b-it-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(
    model=model_name,
    tensor_parallel_size=1,
)

sampling_params = SamplingParams(
    temperature=0.6, top_p=0.9, max_tokens=512,
)


message = [
    {
        "role": "user",
        "content": "日本の春から夏の移り変わりについて教えてください",
    },
]
prompt = tokenizer.apply_chat_template(
    message, tokenize=False, add_generation_prompt=True
)

output = llm.generate(prompt, sampling_params)

print(output[0].outputs[0].text)

📚 详细文档

发布历史

• 2025年5月19日：发布了Gemma-2-Llama-Swallow-2b-pt-v0.1、Gemma-2-Llama-Swallow-9b-pt-v0.1、Gemma-2-Llama-Swallow-27b-pt-v0.1、Gemma-2-Llama-Swallow-2b-it-v0.1、Gemma-2-Llama-Swallow-9b-it-v0.1和Gemma-2-Llama-Swallow-27b-it-v0.1。

Swallow模型索引

该网站https://swallow-llm.github.io/提供了Swallow团队开发的大语言模型。

模型详情

模型性能

MT-Bench JA

日语任务

英语任务

评估基准

评估脚本可在swallow-llm/swallow-evaluation找到，标签为v202411。

MT-Bench JA

我们使用日语MT-Bench评估多轮对话能力，设置如下：

• 实现方式：FastChat [Zheng+, 2023]（提交编号 #e86e70d0）
• 问题：Nejumi LLM-Leaderboard NEO, mtbench_ja_question_v4
• 参考答案：Nejumi LLM-Leaderboard NEO, mtbench_ja_referenceanswer_v2的修订版，我们对其中的错误答案进行了验证和修正。此修订版已随swallow-evaluation 202411版本发布。
• 评判提示：Nejumi LLM-Leaderboard NEO, mtbench_ja_prompt_v1
• 评判模型：gpt-4o-2024-08-06
• 评分方式：绝对尺度归一化到0 - 1范围，五次运行取平均值。

日语评估基准

我们使用了llm-jp-eval(v1.3.0)、JP Language Model Evaluation Harness（提交编号 #9b42d41）和Code Generation LM Evaluation Harness（提交编号 #0261c52）。详情如下：

• 多项选择题回答（JCommonsenseQA [Kurihara et al., 2022]）
• 开放式问题回答（JEMHopQA [Ishii et al., 2024]）
• 开放式问题回答（NIILC [Èñ¢Ê†π, 2003]）
• 机器阅读理解（JSQuAD [Kurihara et al., 2022]）
• 自动摘要（XL-Sum [Hasan et al., 2021]）
• 机器翻译（WMT2020 ja-en [Barrault et al., 2020]）
• 机器翻译（WMT2020 en-ja [Barrault et al., 2020]）
• 数学推理（MGSM [Shi et al., 2023]）
• 学术考试（JMMLU [Â∞π„Çâ, 2024]）
• 代码生成（JHumanEval [‰ΩêËó§„Çâ, 2024]）

英语评估基准

我们使用了Language Model Evaluation Harness(v.0.4.2)和Code Generation LM Evaluation Harness（提交编号 #0261c52）。详情如下：

• 多项选择题回答（OpenBookQA [Mihaylov et al., 2018]）
• 开放式问题回答（TriviaQA [Joshi et al., 2017]）
• 机器阅读理解（SQuAD2 [Rajpurkar et al., 2018]）
• 常识推理（XWINO [Tikhonov and Ryabinin, 2021]）
• 自然语言推理（HellaSwag [Zellers et al., 2019]）
• 数学推理（GSM8K [Cobbe et al., 2021]）
• 数学推理（MATH [Hendrycks et al., 2022][Lightman et al., 2024]）
• 推理（BBH (BIG-Bench-Hard) [Suzgun et al., 2023]）
• 学术考试（MMLU [Hendrycks et al., 2021]）
• 代码生成（HumanEval [Chen et al., 2021]）

训练数据集

指令微调

以下数据集用于指令微调：

• Gemma-2-LMSYS-Chat-1M-Synth
  • 基于lmsys-chat-1m合成和派生的多轮日语指令数据集 [Zhang+, ICLR24]。
  • 首轮用户指令通过DeepL（机器翻译）翻译成日语，助手回复使用gemma-2-27b-it生成。同一模型gemma-2-27b-it作为评判模型进行拒绝采样（n = 6）。
  • 第二轮用户指令和回复使用gemma-2-27b-it合成。同一模型对第二轮回复的质量进行评分，范围为1 - 10。得分低于9的第二轮回复及其对应的指令将被拒绝。同时，删除包含个人身份信息（PII）和基于模板的用户指令，去除重复指令。
• Swallow-Magpie-Ultra-v0.1
  • filtered-magpie-ultra-en数据集的日语变体，由gemma-2-27b-it翻译成日语。
• Swallow-Gemma-Magpie-v0.1
  • 一个全新的日语合成指令微调数据集，由gemma-2-27b-it生成。用户指令通过针对每个主题的特定提示创建，助手回复针对这些指令生成。
  • 对话内容根据质量和长度进行启发式过滤。然后，使用gemma-2-27b-it对每个对话的质量进行评分，范围为1 - 10。得分 <= 7的对话将被拒绝。

🔧 技术细节

本模型基于Gemma-2进行持续预训练，并在专门为日语构建的合成数据上进行有监督微调。具体的模型架构和训练细节请参考Gemma 2论文。

📄 许可证

本模型使用的许可证包括：

• gemma
• llama3.3

⚠️ 重要提示

这里发布的模型仍处于研究和开发的早期阶段，尚未进行调整以确保输出符合人类意图和安全考虑。

💡 使用建议

在使用模型时，建议根据具体任务和需求调整采样参数，以获得更好的生成效果。同时，可参考评估基准部分的设置，对模型进行评估和优化。