Decilm 6b Instruct

🚀 DeciLM 6B-Instruct

DeciLM 6B-Instructは、短文の指示に従うためのモデルです。このモデルは、DeciLM 6BをOpenOrcaデータセットのサブセットでLoRA微調整することで構築されています。

🔍 モデル情報

📚 モデルソース

• 論文：DeciLM 6B Technical Blog
• デモ：DeciLM 6B-Instruct Demo
• ノートブック：DeciLM 6B-Instruct Notebook

🚀 クイックスタート

このモデルは、英語での商用および研究用途を目的としており、他の言語での使用のために微調整することができます。

モデルの使用開始方法

以下のコードを使用して、モデルを使用を開始できます。

# pip install -q transformers

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "Deci/DeciLM-6b-instruct"
device = "cuda" # for GPU usage or "cpu" for CPU usage

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, torch_dtype=torch.bfloat16, trust_remote_code=True).to(device)

inputs = tokenizer.encode("How do I make french toast? Think through it step by step", return_tensors="pt").to(device)
outputs = model.generate(inputs, max_new_tokens=100, do_sample=True, top_p=0.95)
print(tokenizer.decode(outputs[0]))

🔧 学習詳細

DeciLM 6Bは、SlimPijamasデータセットを利用して学習され、高速学習を可能にする高度な独自の手法を用いています。その後、DeciLM 6BはOpenOrcaデータセットのサブセットでさらに微調整され、DeciLM-6B-Instructが生まれました。

📊 評価

以下は、DeciLM 6B-Instructの評価結果です。

⏱️ 実行時ベンチマーク

• スループット (トークン/秒) - 最適なバッチで測定 - PyTorch BS 64、Infery LLM BS 128
• PyTorchベンチマークの結果を再現するには、このコード例を使用してください

⚠️ 免責事項

DeciLM 6B-Instructは、安全性に関して調整されておらず、RLHFを使用して学習されていません。

📝 引用方法

このモデルを引用する場合は、以下の形式を使用してください。

@misc{DeciFoundationModels,
title = {DeciLM 6B Instruct},
author = {DeciAI Research Team},
year = {2023}
url={[https://huggingface.co/Deci/DeciLM-6b-instruct](https://huggingface.co/Deci/DeciLM-6b-instruct)},
}