🚀 KARAKURI LM 8x7B Chat v0.1
KARAKURI LM 8x7B Chat v0.1是一款主要支持英语和日语的语言模型,基于东京工业大学的Swallow - MX - 8x7b - NVE - v0.1微调而来,采用了混合专家(MoE)架构,在文本生成任务上有不错的表现。
🚀 快速开始
模型详情
模型描述
- 开发者:KARAKURI Inc.
- 模型类型:混合专家(MoE)
- 支持语言:主要为英语和日语
- 许可证:Apache 2.0
- 基础模型:[tokyotech - llm/Swallow - MX - 8x7b - NVE - v0.1](https://huggingface.co/tokyotech - llm/Swallow - MX - 8x7b - NVE - v0.1)
- 联系方式:如有关于模型的问题和建议,请发送邮件至
karakuri - rd@karakuri.ai
- 演示地址:https://lm.karakuri.cc/
使用说明
注意事项
⚠️ 重要提示
该模型的提示格式与[KARAKURI LM 70B Chat v0.1](https://huggingface.co/karakuri - ai/karakuri - lm - 70b - chat - v0.1)不同,请务必遵循正确的格式,否则模型生成的输出效果可能不佳。
提示格式
我们使用Mistral格式的多轮对话提示模板,其中包含多个属性值的编码字符串。
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("karakuri-ai/karakuri-lm-8x7b-chat-v0.1")
messages = [
{"role": "system", "content": "System prompt"},
{"role": "user", "content": "User prompt"},
{"role": "assistant", "content": "Model response"},
{"role": "user", "content": "User prompt"},
]
tokenizer.apply_chat_template(messages, tokenize=False)
提示模板包含九个属性,前五个源自HelpSteer,后四个源自OASST2。属性值用0到4的整数表示,0为最低,4为最高。
- 有用性(默认值:4):回复对提示的整体有用程度。
- 正确性(默认值:4):回复中包含所有相关事实且无错误。
- 连贯性(默认值:4):表达的一致性和清晰度。
- 复杂度(默认值:4):撰写回复所需的知识深度(即回复是否任何人具备基本语言能力就能写出,还是需要深入的领域专业知识)。
- 详细程度(默认值:4):回复中包含的详细信息数量,相对于提示中要求的内容。
- 质量(默认值:4):感知到的回复质量。
- 有害性(默认值:0):回复中是否包含粗俗、有害或潜在有偏见的内容。
- 幽默性(默认值:0):回复中的幽默感。
- 创造性(默认值:0):生成非传统回复的意愿。
如果要更改模板中指定的默认属性值,可以通过在用户消息中添加属性值来修改为任意值:
messages = [
{"role": "user", "content": "User prompt", "helpfulness": 0, "complexity": 0},
]
tokenizer.apply_chat_template(messages, tokenize=False)
运行模型
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
"karakuri-ai/karakuri-lm-8x7b-chat-v0.1",
torch_dtype="auto",
device_map="auto",
)
messages = [
{
"role": "user",
"content": "週末に日帰りで東京に遊びに行こうと思っています。日帰りなので、短時間で回れるおすすめの観光プランを教えてください。",
},
]
input_ids = tokenizer.apply_chat_template(
messages,
return_tensors="pt",
).to(model.device)
outputs = model.generate(input_ids, max_new_tokens=512)
tokenizer.decode(outputs[0][input_ids.shape[-1]:])
性能表现
模型 |
有效参数数量 |
对齐方式 |
MT - Bench - jp得分 |
Qwen1.5 72B Chat |
72B |
DPO |
8.19 |
KARAKURI LM 8x7B Chat v0.1 |
13B |
SteerLM |
7.54 |
Command R+ |
104B |
- |
7.31 |
Mixtral 8x7B Instruct v0.1 |
13B |
DPO |
7.24 |
Llama 3 70B Instruct |
70B |
RLHF |
7.13 |
KARAKURI LM 70B Chat v0.1 |
70B |
SteerLM |
6.43 |
Llama 2 70B Chat |
70B |
RLHF |
5.23 |
训练详情
训练数据
训练基础设施
- 硬件:该模型在8个Amazon EC2 trn1.32xlarge实例节点上进行训练。
- 软件:使用基于[neuronx - nemo - megatron](https://github.com/aws - neuron/neuronx - nemo - megatron)的代码。
引用格式
@misc{karakuri_lm_8x7b_chat_v01,
author = { {KARAKURI} {I}nc. },
title = { {KARAKURI} {LM} 8x7{B} {C}hat v0.1 },
year = { 2024 },
url = { https://huggingface.co/karakuri-ai/karakuri-lm-8x7b-chat-v0.1 },
publisher = { Hugging Face },
journal = { Hugging Face repository }
}
许可证
本模型使用Apache 2.0许可证。