Decilm 6b Instruct

🚀 DeciLM 6B-Instruct

DeciLM 6B-Instruct 是一个用于短格式指令跟随的模型。它通过在 OpenOrca 数据集 的一个子集上对 DeciLM 6B 进行 LoRA 微调而构建。

🚀 快速开始

模型使用

使用以下代码开始使用该模型：

# pip install -q transformers

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "Deci/DeciLM-6b-instruct"
device = "cuda" # for GPU usage or "cpu" for CPU usage

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, torch_dtype=torch.bfloat16, trust_remote_code=True).to(device)

inputs = tokenizer.encode("How do I make french toast? Think through it step by step", return_tensors="pt").to(device)
outputs = model.generate(inputs, max_new_tokens=100, do_sample=True, top_p=0.95)
print(tokenizer.decode(outputs[0]))

✨ 主要特性

• 开发团队：Deci
• 模型类型：DeciLM 是一种自回归语言模型，采用了优化的 Transformer 解码器架构，其中包括可变分组查询注意力（Grouped-Query Attention）。
• 支持语言：英语，该模型可用于商业和研究用途，也可以进行微调以支持其他语言。
• 许可证：Llama 2 社区许可协议，并由 Deci 针对托管服务提供商进行了扩展。

📚 详细文档

模型来源

• 论文：DeciLM 6B 技术博客
• 演示：DeciLM 6B-Instruct 演示
• 笔记本：DeciLM 6B-Instruct 笔记本

训练详情

DeciLM 6B 使用 SlimPijamas 数据集进行训练，并利用先进的专有方法实现了快速训练。之后，在 OpenOrca 数据集的一个子集上进一步微调，从而得到了 DeciLM-6B-Instruct。

评估结果

以下是 DeciLM 6B-Instruct 的评估结果：

注：Accuracy-norm score*

运行时基准测试

• 吞吐量（令牌/秒） - 使用最佳批次进行测量 - PyTorch 批次大小 64，Infery LLM 批次大小 128
• 要复现 PyTorch 基准测试的结果，请使用此 代码示例

免责声明

DeciLM 6B-Instruct 尚未进行安全对齐，也未使用基于人类反馈的强化学习（RLHF）进行训练。

引用方式

请使用以下格式引用此模型：

@misc{DeciFoundationModels,
title = {DeciLM 6B Instruct},
author = {DeciAI Research Team},
year = {2023}
url={[https://huggingface.co/Deci/DeciLM-6b-instruct](https://huggingface.co/Deci/DeciLM-6b-instruct)},
}

信息表格