🚀 KARAKURI LM 8x7B Chat v0.1
KARAKURI LM 8x7B Chat v0.1是一款主要支持英語和日語的語言模型，基於東京工業大學的Swallow - MX - 8x7b - NVE - v0.1微調而來，採用了混合專家（MoE）架構，在文本生成任務上有不錯的表現。
🚀 快速開始
模型詳情
模型描述
- 開發者：KARAKURI Inc.
- 模型類型：混合專家（MoE）
- 支持語言：主要為英語和日語
- 許可證：Apache 2.0
- 基礎模型：[tokyotech - llm/Swallow - MX - 8x7b - NVE - v0.1](https://huggingface.co/tokyotech - llm/Swallow - MX - 8x7b - NVE - v0.1)
- 聯繫方式：如有關於模型的問題和建議，請發送郵件至
karakuri - rd@karakuri.ai
- 演示地址：https://lm.karakuri.cc/
使用說明
注意事項
⚠️ 重要提示
該模型的提示格式與[KARAKURI LM 70B Chat v0.1](https://huggingface.co/karakuri - ai/karakuri - lm - 70b - chat - v0.1)不同，請務必遵循正確的格式，否則模型生成的輸出效果可能不佳。
提示格式
我們使用Mistral格式的多輪對話提示模板，其中包含多個屬性值的編碼字符串。
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("karakuri-ai/karakuri-lm-8x7b-chat-v0.1")
messages = [
{"role": "system", "content": "System prompt"},
{"role": "user", "content": "User prompt"},
{"role": "assistant", "content": "Model response"},
{"role": "user", "content": "User prompt"},
]
tokenizer.apply_chat_template(messages, tokenize=False)
提示模板包含九個屬性，前五個源自HelpSteer，後四個源自OASST2。屬性值用0到4的整數表示，0為最低，4為最高。
- 有用性（默認值：4）：回覆對提示的整體有用程度。
- 正確性（默認值：4）：回覆中包含所有相關事實且無錯誤。
- 連貫性（默認值：4）：表達的一致性和清晰度。
- 複雜度（默認值：4）：撰寫回復所需的知識深度（即回覆是否任何人具備基本語言能力就能寫出，還是需要深入的領域專業知識）。
- 詳細程度（默認值：4）：回覆中包含的詳細信息數量，相對於提示中要求的內容。
- 質量（默認值：4）：感知到的回覆質量。
- 有害性（默認值：0）：回覆中是否包含粗俗、有害或潛在有偏見的內容。
- 幽默性（默認值：0）：回覆中的幽默感。
- 創造性（默認值：0）：生成非傳統回覆的意願。
如果要更改模板中指定的默認屬性值，可以通過在用戶消息中添加屬性值來修改為任意值：
messages = [
{"role": "user", "content": "User prompt", "helpfulness": 0, "complexity": 0},
]
tokenizer.apply_chat_template(messages, tokenize=False)
運行模型
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
"karakuri-ai/karakuri-lm-8x7b-chat-v0.1",
torch_dtype="auto",
device_map="auto",
)
messages = [
{
"role": "user",
"content": "週末に日帰りで東京に遊びに行こうと思っています。日帰りなので、短時間で回れるおすすめの観光プランを教えてください。",
},
]
input_ids = tokenizer.apply_chat_template(
messages,
return_tensors="pt",
).to(model.device)
outputs = model.generate(input_ids, max_new_tokens=512)
tokenizer.decode(outputs[0][input_ids.shape[-1]:])
性能表現
| 模型 |
有效參數數量 |
對齊方式 |
MT - Bench - jp得分 |
| Qwen1.5 72B Chat |
72B |
DPO |
8.19 |
| KARAKURI LM 8x7B Chat v0.1 |
13B |
SteerLM |
7.54 |
| Command R+ |
104B |
- |
7.31 |
| Mixtral 8x7B Instruct v0.1 |
13B |
DPO |
7.24 |
| Llama 3 70B Instruct |
70B |
RLHF |
7.13 |
| KARAKURI LM 70B Chat v0.1 |
70B |
SteerLM |
6.43 |
| Llama 2 70B Chat |
70B |
RLHF |
5.23 |
訓練詳情
訓練數據
訓練基礎設施
- 硬件：該模型在8個Amazon EC2 trn1.32xlarge實例節點上進行訓練。
- 軟件：使用基於[neuronx - nemo - megatron](https://github.com/aws - neuron/neuronx - nemo - megatron)的代碼。
引用格式
@misc{karakuri_lm_8x7b_chat_v01,
author = { {KARAKURI} {I}nc. },
title = { {KARAKURI} {LM} 8x7{B} {C}hat v0.1 },
year = { 2024 },
url = { https://huggingface.co/karakuri-ai/karakuri-lm-8x7b-chat-v0.1 },
publisher = { Hugging Face },
journal = { Hugging Face repository }
}
許可證
本模型使用Apache 2.0許可證。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 支持多種語言