Decilm 6b Instruct

🚀 DeciLM 6B-Instruct

DeciLM 6B-Instruct 是一個用於短格式指令跟隨的模型。它通過在 OpenOrca 數據集 的一個子集上對 DeciLM 6B 進行 LoRA 微調而構建。

🚀 快速開始

模型使用

使用以下代碼開始使用該模型：

# pip install -q transformers

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "Deci/DeciLM-6b-instruct"
device = "cuda" # for GPU usage or "cpu" for CPU usage

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, torch_dtype=torch.bfloat16, trust_remote_code=True).to(device)

inputs = tokenizer.encode("How do I make french toast? Think through it step by step", return_tensors="pt").to(device)
outputs = model.generate(inputs, max_new_tokens=100, do_sample=True, top_p=0.95)
print(tokenizer.decode(outputs[0]))

✨ 主要特性

• 開發團隊：Deci
• 模型類型：DeciLM 是一種自迴歸語言模型，採用了優化的 Transformer 解碼器架構，其中包括可變分組查詢注意力（Grouped-Query Attention）。
• 支持語言：英語，該模型可用於商業和研究用途，也可以進行微調以支持其他語言。
• 許可證：Llama 2 社區許可協議，並由 Deci 針對託管服務提供商進行了擴展。

📚 詳細文檔

模型來源

• 論文：DeciLM 6B 技術博客
• 演示：DeciLM 6B-Instruct 演示
• 筆記本：DeciLM 6B-Instruct 筆記本

訓練詳情

DeciLM 6B 使用 SlimPijamas 數據集進行訓練，並利用先進的專有方法實現了快速訓練。之後，在 OpenOrca 數據集的一個子集上進一步微調，從而得到了 DeciLM-6B-Instruct。

評估結果

以下是 DeciLM 6B-Instruct 的評估結果：

注：Accuracy-norm score*

運行時基準測試

• 吞吐量（令牌/秒） - 使用最佳批次進行測量 - PyTorch 批次大小 64，Infery LLM 批次大小 128
• 要復現 PyTorch 基準測試的結果，請使用此 代碼示例

免責聲明

DeciLM 6B-Instruct 尚未進行安全對齊，也未使用基於人類反饋的強化學習（RLHF）進行訓練。

引用方式

請使用以下格式引用此模型：

@misc{DeciFoundationModels,
title = {DeciLM 6B Instruct},
author = {DeciAI Research Team},
year = {2023}
url={[https://huggingface.co/Deci/DeciLM-6b-instruct](https://huggingface.co/Deci/DeciLM-6b-instruct)},
}

信息表格