Swallow MX 8x7b NVE V0.1

🚀 Swallow-MX-8x7b-NVE-v0.1

Swallow-MX-8x7b-NVE-v0.1モデルは、Mixtral-8x7B-Instruct-v0.1 から継続的に事前学習を行い、主に日本語データを追加して開発されました。

🚀 クイックスタート

このセクションでは、Swallow-MX-8x7b-NVE-v0.1モデルの基本的な使い方を説明します。

まず、requirements.txt の追加依存関係をインストールします。

pip install -r requirements.txt

ベースモデルの使用

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "tokyotech-llm/Swallow-MX-8x7b-NVE-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
prompt = "東京工業大学の主なキャンパスは、"
input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

✨ 主な機能

Swallow-MX-8x7b-NVE-v0.1モデルは、Mixtral-8x7B-Instruct-v0.1からの継続的な事前学習により、日本語データを追加して開発されています。これにより、日本語の処理能力が向上しています。

📦 インストール

まず、requirements.txt の追加依存関係をインストールします。

pip install -r requirements.txt

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "tokyotech-llm/Swallow-MX-8x7b-NVE-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
prompt = "東京工業大学の主なキャンパスは、"
input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

📚 ドキュメント

モデルの詳細

ベースモデルの性能

日本語版

英語版

学習データセット

継続的な事前学習

継続的な事前学習には、以下のデータセットが使用されました。

• Algebraic Stack
• Japanese Wikipedia
• RefinedWeb
• Swallow Corpus
• The Pile
• The Vault

リスクと制限

ここで公開されているモデルは、まだ研究開発の初期段階にあり、出力が人間の意図や安全性の考慮に沿うように調整されていません。

謝辞

Mistral AIが、Mixtral-8x7B-Instruct-v0.1をオープンライセンスで公開し、他者がその上に構築できるようにしてくれたことに感謝します。

当プロジェクトは、国立研究開発法人産業技術総合研究所の ABCI Large-scale Language Model Building Support Program によって支援されています。

引用方法

もし当研究が役に立った場合は、ご自由に引用してください。

@inproceedings{Fujii:COLM2024,
   title={Continual Pre-Training for Cross-Lingual LLM Adaptation:
Enhancing Japanese Language Capabilities},
   author={Kazuki Fujii and Taishi Nakamura and Mengsay Loem and Hiroki
Iida and Masanari Ohi and Kakeru Hattori and Hirai Shota and Sakae
Mizuki and Rio Yokota and Naoaki Okazaki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

@inproceedings{Okazaki:COLM2024,
   title={Building a Large Japanese Web Corpus for Large Language Models},
   author={Naoaki Okazaki and Kakeru Hattori and Hirai Shota and Hiroki
Iida and Masanari Ohi and Kazuki Fujii and Taishi Nakamura and Mengsay
Loem and Rio Yokota and Sakae Mizuki},
   booktitle="Proceedings of the First Conference on Language Modeling",
   series={COLM},
   pages="(to appear)",
   year="2024",
   month=oct,
   address={University of Pennsylvania, USA},
}

📄 ライセンス

apache-2.0

作者

以下はチームメンバーです。

• 岡崎研究室 のメンバー：
  • 岡崎直晃
  • 水樹栄
  • 飯田弘樹
  • ロエム・メンサイ
  • 平井翔太
  • 服部駆
  • 大井正成
• 横田研究室 のメンバー：
  • 横田理央
  • 藤井和樹
  • 中村大史