🚀 KARAKURI LM 8x7B Chat v0.1
このモデルは、主に英語と日本語に対応したMixture of Experts（MoE）型のモデルで、tokyotech-llm/Swallow-MX-8x7b-NVE-v0.1 をベースに微調整されています。
🚀 クイックスタート
KARAKURI LM 8x7B Chat v0.1は、高度な自然言語処理能力を持つモデルです。以下のセクションでは、このモデルの詳細、使い方、パフォーマンス、トレーニングの詳細について説明します。
✨ 主な機能
- 主に英語と日本語に対応した自然言語処理が可能。
- 独自のプロンプトフォーマットを用いて、多様な属性値を指定できる。
- 高度なパフォーマンスを持ち、MT-Bench-jpで高いスコアを記録。
📚 ドキュメント
🔍 モデル詳細
💻 使用例
基本的な使用法
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("karakuri-ai/karakuri-lm-8x7b-chat-v0.1")
messages = [
{"role": "system", "content": "System prompt"},
{"role": "user", "content": "User prompt"},
{"role": "assistant", "content": "Model response"},
{"role": "user", "content": "User prompt"},
]
tokenizer.apply_chat_template(messages, tokenize=False)
高度な使用法
messages = [
{"role": "user", "content": "User prompt", "helpfulness": 0, "complexity": 0},
]
tokenizer.apply_chat_template(messages, tokenize=False)
モデルの実行
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
"karakuri-ai/karakuri-lm-8x7b-chat-v0.1",
torch_dtype="auto",
device_map="auto",
)
messages = [
{
"role": "user",
"content": "週末に日帰りで東京に遊びに行こうと思っています。日帰りなので、短時間で回れるおすすめの観光プランを教えてください。",
},
]
input_ids = tokenizer.apply_chat_template(
messages,
return_tensors="pt",
).to(model.device)
outputs = model.generate(input_ids, max_new_tokens=512)
tokenizer.decode(outputs[0][input_ids.shape[-1]:])
⚠️ 注意事項
⚠️ 重要提示
プロンプトフォーマットは KARAKURI LM 70B Chat v0.1 から変更されています。正しいフォーマットに従ってください。そうしないと、モデルの出力が最適ではなくなります。
📊 パフォーマンス
| モデル |
有効パラメータ数 |
アライメント |
MT-Bench-jp |
| Qwen1.5 72B Chat |
72B |
DPO |
8.19 |
| KARAKURI LM 8x7B Chat v0.1 |
13B |
SteerLM |
7.54 |
| Command R+ |
104B |
- |
7.31 |
| Mixtral 8x7B Instruct v0.1 |
13B |
DPO |
7.24 |
| Llama 3 70B Instruct |
70B |
RLHF |
7.13 |
| KARAKURI LM 70B Chat v0.1 |
70B |
SteerLM |
6.43 |
| Llama 2 70B Chat |
70B |
RLHF |
5.23 |
🔧 技術詳細
トレーニングデータ
トレーニングインフラストラクチャ
- ハードウェア：このモデルは、Amazon EC2 trn1.32xlargeインスタンスの8ノードでトレーニングされました。
- ソフトウェア：neuronx-nemo-megatron をベースにしたコードを使用しています。
📄 ライセンス
このモデルはApache 2.0ライセンスの下で提供されています。
📖 引用
@misc{karakuri_lm_8x7b_chat_v01,
author = { {KARAKURI} {I}nc. },
title = { {KARAKURI} {LM} 8x7{B} {C}hat v0.1 },
year = { 2024 },
url = { https://huggingface.co/karakuri-ai/karakuri-lm-8x7b-chat-v0.1 },
publisher = { Hugging Face },
journal = { Hugging Face repository }
}
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 複数言語対応