Swallow MS 7b Instruct V0.1

🚀 Swallow-MS-7b-v0.1

我們的 Swallow-MS-7b-v0.1 模型基於 Mistral-7B-v0.1 進行持續預訓練，主要增加了日語語言數據。該模型能更好地處理日語相關任務，為日語自然語言處理提供更強大的支持。

🚀 快速開始

本倉庫提供由 TokyoTech-LLM 開發的大語言模型。首先，你需要安裝 requirements.txt 中的額外依賴項：

pip install -r requirements.txt

✨ 主要特性

• 多語言支持：支持日語和英語兩種語言。
• 高效推理：採用基於日語數據擴展詞彙表的分詞器，能以更少的標記更高效地表示文本，推理速度顯著加快。

📦 安裝指南

安裝額外依賴項：

pip install -r requirements.txt

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "tokyotech-llm/Swallow-MS-7b-instruct-v0.1"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

device = "cuda"

messages = [
    {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。"},
    {"role": "user", "content": "東京工業大學の主なキャンパスについて教えてください"}
]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = encodeds.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=128, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

指令格式 Ver0.1

此格式必須嚴格遵守，因為偏差可能導致模型輸出效果不佳。用於構建指令模型提示的模板如下：

<s>[INST] <<SYS>>\n{SYSTEM_PROMPT}\n<</SYS>>\n\n{USER_MESSAGE_1} [/INST] {BOT_MESSAGE_1}</s>[INST] {USER_MESSAGE_2} [/INST] 

請注意，<s> 和 </s> 分別是用於字符串開頭（BOS）和結尾（EOS）的特殊標記，而 [INST] 和 [/INST] 被視為常規字符串。

對於 "{SYSTEM_PROMPT}" 部分，建議使用 "あなたは誠実で優秀な日本人のアシスタントです。"

對於 "{USER_MESSAGE_1}" 部分，建議使用 {instruction}\n{input}

換句話說，建議使用以下格式：

<s>[INST] <<SYS>>\nあなたは誠実で優秀な日本人のアシスタントです。\n<</SYS>>\n\n{instruction1}\n{input1} [/INST] {BOT_MESSAGE_1}</s>[INST] {instruction2}\n{input2} [/INST] 

📚 詳細文檔

模型發佈更新

我們很高興分享最新模型的發佈計劃：

• 2024 年 4 月 26 日：發佈 Swallow-MS-7b-instruct-v0.1
• 2024 年 3 月 11 日：發佈 Swallow-MS-7b-v0.1

模型詳情

指令模型性能

MT-Bench JA

逐輪性能

我們報告了總體（即第一輪和第二輪得分的平均值）、第一輪和第二輪得分。

總體

第一輪

第二輪

與過往模型的比較

本部分僅提供總體得分。

評估基準

MT-Bench JA

我們使用 Japanese MT-Bench 評估模型的指令遵循能力。我們採用以下設置：

• 實現方式：FastChat [Zheng+, 2023]（提交編號 #e86e70d0）
• 問題：Nejumi LLM-Leaderboard NEO, mtbench_ja_question_v3
• 參考答案：Nejumi LLM-Leaderboard NEO, mtbench_ja_referenceanswer_v1
• 評判提示：Nejumi LLM-Lederboard NEO, mtbench_ja_prompt_v1
• 評判模型：gpt-4-1106-preview
• 評分：絕對尺度歸一化到 0 - 1 範圍，五次運行取平均值。

訓練數據集

指令微調 Ver0.1

以下數據集用於指令微調：

• OpenAssistant Conversations Dataset，其中包含人類話語，但不使用回覆。相反，回覆使用 Mixtral-8x7B-Instruct-v0.1 模型生成。
• OpenAssistant Conversations Dataset 21k Ja
• OpenAssistant Conversations Dataset 21k En
• Databricks Dolly 15k Ja
• Databricks Dolly 15k En

請注意，部分數據存在質量或格式問題，因此並非所有數據都被使用。

風險與侷限性

此處發佈的模型仍處於我們研發的早期階段，尚未進行調整以確保輸出符合人類意圖和安全考慮。

致謝

我們感謝 Mistral AI 在開放許可證下發布 Mistral 7B v0.1，以便他人在此基礎上進行開發。

我們的項目得到了國立先進工業科學技術研究所 ABCI 大規模語言模型構建支持計劃 的支持。

📄 許可證

apache-2.0

👥 作者

以下是團隊成員：

• 來自 Okazaki 實驗室 的成員：
  • 岡崎直明
  • 水樹栄
  • 飯田弘樹
  • 羅孟賽
  • 平井翔太
  • 服部駆
  • 大井正成
• 來自 YOKOTA 實驗室 的成員：
  • 橫田理央
  • 藤井和樹
  • 中村大史
  • 岡本匠
  • 石田重樹

📝 引用方式

如果您認為我們的工作有幫助，請隨時引用我們：

@inproceedings{Fujii:COLM2024,
   title={Continual Pre-Training for Cross-Lingual LLM Adaptation:
Enhancing Japanese Language Capabilities},
   author={Kazuki Fujii and Taishi Nakamura and Mengsay Loem and Hiroki
Iida and Masanari Ohi and Kakeru Hattori and Hirai Shota and Sakae
Mizuki and Rio Yokota and Naoaki Okazaki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@inproceedings{Okazaki:COLM2024,
   title={Building a Large Japanese Web Corpus for Large Language Models},
   author={Naoaki Okazaki and Kakeru Hattori and Hirai Shota and Hiroki
Iida and Masanari Ohi and Kazuki Fujii and Taishi Nakamura and Mengsay
Loem and Rio Yokota and Sakae Mizuki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}