🚀 KARAKURI LM 8x7B Chat v0.1
KARAKURI LM 8x7B Chat v0.1是一款主要支持英语和日语的语言模型，基于东京工业大学的Swallow - MX - 8x7b - NVE - v0.1微调而来，采用了混合专家（MoE）架构，在文本生成任务上有不错的表现。
🚀 快速开始
模型详情
模型描述
- 开发者：KARAKURI Inc.
- 模型类型：混合专家（MoE）
- 支持语言：主要为英语和日语
- 许可证：Apache 2.0
- 基础模型：[tokyotech - llm/Swallow - MX - 8x7b - NVE - v0.1](https://huggingface.co/tokyotech - llm/Swallow - MX - 8x7b - NVE - v0.1)
- 联系方式：如有关于模型的问题和建议，请发送邮件至
karakuri - rd@karakuri.ai
- 演示地址：https://lm.karakuri.cc/
使用说明
注意事项
⚠️ 重要提示
该模型的提示格式与[KARAKURI LM 70B Chat v0.1](https://huggingface.co/karakuri - ai/karakuri - lm - 70b - chat - v0.1)不同，请务必遵循正确的格式，否则模型生成的输出效果可能不佳。
提示格式
我们使用Mistral格式的多轮对话提示模板，其中包含多个属性值的编码字符串。
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("karakuri-ai/karakuri-lm-8x7b-chat-v0.1")
messages = [
{"role": "system", "content": "System prompt"},
{"role": "user", "content": "User prompt"},
{"role": "assistant", "content": "Model response"},
{"role": "user", "content": "User prompt"},
]
tokenizer.apply_chat_template(messages, tokenize=False)
提示模板包含九个属性，前五个源自HelpSteer，后四个源自OASST2。属性值用0到4的整数表示，0为最低，4为最高。
- 有用性（默认值：4）：回复对提示的整体有用程度。
- 正确性（默认值：4）：回复中包含所有相关事实且无错误。
- 连贯性（默认值：4）：表达的一致性和清晰度。
- 复杂度（默认值：4）：撰写回复所需的知识深度（即回复是否任何人具备基本语言能力就能写出，还是需要深入的领域专业知识）。
- 详细程度（默认值：4）：回复中包含的详细信息数量，相对于提示中要求的内容。
- 质量（默认值：4）：感知到的回复质量。
- 有害性（默认值：0）：回复中是否包含粗俗、有害或潜在有偏见的内容。
- 幽默性（默认值：0）：回复中的幽默感。
- 创造性（默认值：0）：生成非传统回复的意愿。
如果要更改模板中指定的默认属性值，可以通过在用户消息中添加属性值来修改为任意值：
messages = [
{"role": "user", "content": "User prompt", "helpfulness": 0, "complexity": 0},
]
tokenizer.apply_chat_template(messages, tokenize=False)
运行模型
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
"karakuri-ai/karakuri-lm-8x7b-chat-v0.1",
torch_dtype="auto",
device_map="auto",
)
messages = [
{
"role": "user",
"content": "週末に日帰りで東京に遊びに行こうと思っています。日帰りなので、短時間で回れるおすすめの観光プランを教えてください。",
},
]
input_ids = tokenizer.apply_chat_template(
messages,
return_tensors="pt",
).to(model.device)
outputs = model.generate(input_ids, max_new_tokens=512)
tokenizer.decode(outputs[0][input_ids.shape[-1]:])
性能表现
| 模型 |
有效参数数量 |
对齐方式 |
MT - Bench - jp得分 |
| Qwen1.5 72B Chat |
72B |
DPO |
8.19 |
| KARAKURI LM 8x7B Chat v0.1 |
13B |
SteerLM |
7.54 |
| Command R+ |
104B |
- |
7.31 |
| Mixtral 8x7B Instruct v0.1 |
13B |
DPO |
7.24 |
| Llama 3 70B Instruct |
70B |
RLHF |
7.13 |
| KARAKURI LM 70B Chat v0.1 |
70B |
SteerLM |
6.43 |
| Llama 2 70B Chat |
70B |
RLHF |
5.23 |
训练详情
训练数据
训练基础设施
- 硬件：该模型在8个Amazon EC2 trn1.32xlarge实例节点上进行训练。
- 软件：使用基于[neuronx - nemo - megatron](https://github.com/aws - neuron/neuronx - nemo - megatron)的代码。
引用格式
@misc{karakuri_lm_8x7b_chat_v01,
author = { {KARAKURI} {I}nc. },
title = { {KARAKURI} {LM} 8x7{B} {C}hat v0.1 },
year = { 2024 },
url = { https://huggingface.co/karakuri-ai/karakuri-lm-8x7b-chat-v0.1 },
publisher = { Hugging Face },
journal = { Hugging Face repository }
}
许可证
本模型使用Apache 2.0许可证。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 支持多种语言