Swallow MS 7b V0.1

🚀 Swallow-MS-7b-v0.1

我們的 Swallow-MS-7b-v0.1 模型在 Mistral-7B-v0.1 的基礎上進行了持續預訓練，主要增加了日語語言數據，提升了模型在日語和英語上的表現能力。

🚀 快速開始

本倉庫提供了由 TokyoTech-LLM 開發的大語言模型。若要使用該模型，需先安裝額外依賴：

pip install -r requirements.txt

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "tokyotech-llm/Swallow-MS-7b-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
prompt = "東京工業大學の主なキャンパスは、"
input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

✨ 主要特性

• 基於 Mistral-7B-v0.1 進行持續預訓練，增加了日語語言數據。
• 採用了基於日語數據擴展詞彙表的分詞器，推理速度更快。

📦 安裝指南

首先安裝 requirements.txt 中的額外依賴：

pip install -r requirements.txt

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "tokyotech-llm/Swallow-MS-7b-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
prompt = "東京工業大學の主なキャンパスは、"
input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

📚 詳細文檔

模型發佈更新

我們很高興分享最新模型的發佈計劃：

• 2024 年 4 月 26 日：發佈了 Swallow-MS-7b-instruct-v0.1
• 2024 年 3 月 11 日：發佈了 Swallow-MS-7b-v0.1

模型詳情

基礎模型性能

日語任務

英語任務

代碼生成任務

評估基準

日語評估基準

我們使用了 llm-jp-eval(v1.0.0) 和 JP Language Model Evaluation Harness(提交編號 #9b42d41)。詳情如下：

• 多項選擇題回答 (JCommonsenseQA [Kurihara+, 2022])
• 開放式問題回答 (JEMHopQA [Ishii+, 2023])
• 開放式問題回答 (NIILC [Sekine, 2003])
• 機器閱讀理解 (JSQuAD [Kurihara+, 2022])
• 自動摘要 (XL-Sum [Hasan+, 2021])
• 機器翻譯 (WMT2020 ja-en [Barrault+, 2020])
• 機器翻譯 (WMT2020 en-ja [Barrault+, 2020])
• 數學推理 (MGSM [Shi+, 2023])

英語評估基準

我們使用了 Language Model Evaluation Harness(v.0.3.0)。詳情如下：

• 多項選擇題回答 (OpenBookQA [Mihaylov+, 2018])
• 開放式問題回答 (TriviaQA [Joshi+, 2017])
• 機器閱讀理解 (SQuAD 2.0 [Rajpurkar+, 2018])
• 常識推理 (XWINO [Tikhonov & Ryabinin, 2021])
• 自然語言推理 (HellaSwag [Zellers+, 2019])
• 數學推理 (GSM8k [Cobbe+, 2021])

代碼評估基準

我們使用了 Code Generation LM Evaluation Harness [Allal+, 2022] (提交編號 #0261c52)。詳情如下：

• 代碼生成 (HumanEval [Chen+, 2021])
• 日語代碼生成 (JHumanEval [Satoh+, 2024])

訓練數據集

持續預訓練

以下數據集用於持續預訓練：

• Algebraic Stack
• Japanese Wikipedia
• RefinedWeb
• Swallow Corpus
• The Pile

風險與侷限性

此處發佈的模型仍處於我們研究和開發的早期階段，尚未進行調整以確保輸出符合人類意圖和安全考慮。

致謝

我們感謝 Mistral AI 以開放許可證發佈 Mistral 7B v0.1，以便其他人在此基礎上進行開發。

我們的項目得到了國立先進工業科學技術研究所 ABCI 大規模語言模型構建支持計劃 的支持。

許可證

apache-2.0

作者

以下是團隊成員：

• 來自 Okazaki 實驗室 的成員：
  • Naoaki Okazaki
  • Sakae Mizuki
  • Hiroki Iida
  • Mengsay Loem
  • Shota Hirai
  • Kakeru Hattori
  • Masanari Ohi
• 來自 YOKOTA 實驗室 的成員：
  • Rio Yokota
  • Kazuki Fujii
  • Taishi Nakamura

如何引用

如果您認為我們的工作有幫助，請隨時引用我們。

@inproceedings{Fujii:COLM2024,
   title={Continual Pre-Training for Cross-Lingual LLM Adaptation:
Enhancing Japanese Language Capabilities},
   author={Kazuki Fujii and Taishi Nakamura and Mengsay Loem and Hiroki
Iida and Masanari Ohi and Kakeru Hattori and Hirai Shota and Sakae
Mizuki and Rio Yokota and Naoaki Okazaki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@inproceedings{Okazaki:COLM2024,
   title={Building a Large Japanese Web Corpus for Large Language Models},
   author={Naoaki Okazaki and Kakeru Hattori and Hirai Shota and Hiroki
Iida and Masanari Ohi and Kazuki Fujii and Taishi Nakamura and Mengsay
Loem and Rio Yokota and Sakae Mizuki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

⚠️ 重要提示

此處發佈的模型仍處於我們研究和開發的早期階段，尚未進行調整以確保輸出符合人類意圖和安全考慮。

💡 使用建議

若要使用該模型，需先安裝 requirements.txt 中的額外依賴。