Swallow MX 8x7b NVE V0.1

🚀 Swallow-MX-8x7b-NVE-v0.1

Swallow-MX-8x7b-NVE-v0.1模型是在Mixtral-8x7B-Instruct-v0.1的基礎上進行持續預訓練得到的，主要增加了日語數據，提升了模型在日語和英語上的性能。

🚀 快速開始

首先，安裝requirements.txt中的額外依賴：

pip install -r requirements.txt

使用基礎模型

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "tokyotech-llm/Swallow-MX-8x7b-NVE-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
prompt = "東京工業大學の主なキャンパスは、"
input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

✨ 主要特性

• 基於Mixtral-8x7B-Instruct-v0.1持續預訓練，增強了日語語言能力。
• 支持日語和英語兩種語言。
• 在多個基準測試中表現出色。

📚 詳細文檔

模型詳情

基礎模型性能

日語版本

英語版本

請注意，Swallow-MX-8x7b-NVE-v0.1並非基於Mixtral-8x7B-v0.1開發，而是在Mixtral-8x7B-Instruct-v0.1的基礎上進行持續預訓練。

訓練數據集

持續預訓練

以下數據集用於持續預訓練：

• Algebraic Stack
• Japanese Wikipedia
• RefinedWeb
• Swallow Corpus
• The Pile
• The Vault

風險與侷限性

此處發佈的模型仍處於研究和開發的早期階段，尚未進行調優以確保輸出符合人類意圖和安全考量。

致謝

感謝Mistral AI以開放許可的方式發佈Mixtral-8x7B-Instruct-v0.1，使其他開發者能夠在此基礎上進行開發。

本項目得到了日本國立先進工業科學技術研究所ABCI大規模語言模型構建支持計劃的支持。

📄 許可證

本模型採用Apache 2.0許可證。

👥 作者

岡崎實驗室（Okazaki Laboratory）

• Naoaki Okazaki
• Sakae Mizuki
• Hiroki Iida
• Mengsay Loem
• Shota Hirai
• Kakeru Hattori
• Masanari Ohi

橫田實驗室（YOKOTA Laboratory）

• Rio Yokota
• Kazuki Fujii
• Taishi Nakamura

📝 如何引用

如果您認為我們的工作有幫助，請隨意引用：

@inproceedings{Fujii:COLM2024,
   title={Continual Pre-Training for Cross-Lingual LLM Adaptation:
Enhancing Japanese Language Capabilities},
   author={Kazuki Fujii and Taishi Nakamura and Mengsay Loem and Hiroki
Iida and Masanari Ohi and Kakeru Hattori and Hirai Shota and Sakae
Mizuki and Rio Yokota and Naoaki Okazaki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@inproceedings{Okazaki:COLM2024,
   title={Building a Large Japanese Web Corpus for Large Language Models},
   author={Naoaki Okazaki and Kakeru Hattori and Hirai Shota and Hiroki
Iida and Masanari Ohi and Kazuki Fujii and Taishi Nakamura and Mengsay
Loem and Rio Yokota and Sakae Mizuki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}