Swallow MS 7b Instruct V0.1

🚀 Swallow-MS-7b-v0.1

我们的 Swallow-MS-7b-v0.1 模型基于 Mistral-7B-v0.1 进行持续预训练，主要增加了日语语言数据。该模型能更好地处理日语相关任务，为日语自然语言处理提供更强大的支持。

🚀 快速开始

本仓库提供由 TokyoTech-LLM 开发的大语言模型。首先，你需要安装 requirements.txt 中的额外依赖项：

pip install -r requirements.txt

✨ 主要特性

• 多语言支持：支持日语和英语两种语言。
• 高效推理：采用基于日语数据扩展词汇表的分词器，能以更少的标记更高效地表示文本，推理速度显著加快。

📦 安装指南

安装额外依赖项：

pip install -r requirements.txt

💻 使用示例

基础用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "tokyotech-llm/Swallow-MS-7b-instruct-v0.1"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

device = "cuda"

messages = [
    {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。"},
    {"role": "user", "content": "東京工業大学の主なキャンパスについて教えてください"}
]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = encodeds.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=128, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

指令格式 Ver0.1

此格式必须严格遵守，因为偏差可能导致模型输出效果不佳。用于构建指令模型提示的模板如下：

<s>[INST] <<SYS>>\n{SYSTEM_PROMPT}\n<</SYS>>\n\n{USER_MESSAGE_1} [/INST] {BOT_MESSAGE_1}</s>[INST] {USER_MESSAGE_2} [/INST] 

请注意，<s> 和 </s> 分别是用于字符串开头（BOS）和结尾（EOS）的特殊标记，而 [INST] 和 [/INST] 被视为常规字符串。

对于 "{SYSTEM_PROMPT}" 部分，建议使用 "あなたは誠実で優秀な日本人のアシスタントです。"

对于 "{USER_MESSAGE_1}" 部分，建议使用 {instruction}\n{input}

换句话说，建议使用以下格式：

<s>[INST] <<SYS>>\nあなたは誠実で優秀な日本人のアシスタントです。\n<</SYS>>\n\n{instruction1}\n{input1} [/INST] {BOT_MESSAGE_1}</s>[INST] {instruction2}\n{input2} [/INST] 

📚 详细文档

模型发布更新

我们很高兴分享最新模型的发布计划：

• 2024 年 4 月 26 日：发布 Swallow-MS-7b-instruct-v0.1
• 2024 年 3 月 11 日：发布 Swallow-MS-7b-v0.1

模型详情

指令模型性能

MT-Bench JA

逐轮性能

我们报告了总体（即第一轮和第二轮得分的平均值）、第一轮和第二轮得分。

总体

第一轮

第二轮

与过往模型的比较

本部分仅提供总体得分。

评估基准

MT-Bench JA

我们使用 Japanese MT-Bench 评估模型的指令遵循能力。我们采用以下设置：

• 实现方式：FastChat [Zheng+, 2023]（提交编号 #e86e70d0）
• 问题：Nejumi LLM-Leaderboard NEO, mtbench_ja_question_v3
• 参考答案：Nejumi LLM-Leaderboard NEO, mtbench_ja_referenceanswer_v1
• 评判提示：Nejumi LLM-Lederboard NEO, mtbench_ja_prompt_v1
• 评判模型：gpt-4-1106-preview
• 评分：绝对尺度归一化到 0 - 1 范围，五次运行取平均值。

训练数据集

指令微调 Ver0.1

以下数据集用于指令微调：

• OpenAssistant Conversations Dataset，其中包含人类话语，但不使用回复。相反，回复使用 Mixtral-8x7B-Instruct-v0.1 模型生成。
• OpenAssistant Conversations Dataset 21k Ja
• OpenAssistant Conversations Dataset 21k En
• Databricks Dolly 15k Ja
• Databricks Dolly 15k En

请注意，部分数据存在质量或格式问题，因此并非所有数据都被使用。

风险与局限性

此处发布的模型仍处于我们研发的早期阶段，尚未进行调整以确保输出符合人类意图和安全考虑。

致谢

我们感谢 Mistral AI 在开放许可证下发布 Mistral 7B v0.1，以便他人在此基础上进行开发。

我们的项目得到了国立先进工业科学技术研究所 ABCI 大规模语言模型构建支持计划 的支持。

📄 许可证

apache-2.0

👥 作者

以下是团队成员：

• 来自 Okazaki 实验室 的成员：
  • 冈崎直明
  • 水树栄
  • 饭田弘树
  • 罗孟赛
  • 平井翔太
  • 服部駆
  • 大井正成
• 来自 YOKOTA 实验室 的成员：
  • 横田理央
  • 藤井和树
  • 中村大史
  • 冈本匠
  • 石田重树

📝 引用方式

如果您认为我们的工作有帮助，请随时引用我们：

@inproceedings{Fujii:COLM2024,
   title={Continual Pre-Training for Cross-Lingual LLM Adaptation:
Enhancing Japanese Language Capabilities},
   author={Kazuki Fujii and Taishi Nakamura and Mengsay Loem and Hiroki
Iida and Masanari Ohi and Kakeru Hattori and Hirai Shota and Sakae
Mizuki and Rio Yokota and Naoaki Okazaki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@inproceedings{Okazaki:COLM2024,
   title={Building a Large Japanese Web Corpus for Large Language Models},
   author={Naoaki Okazaki and Kakeru Hattori and Hirai Shota and Hiroki
Iida and Masanari Ohi and Kazuki Fujii and Taishi Nakamura and Mengsay
Loem and Rio Yokota and Sakae Mizuki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}