Orca Mini V4 8b

🚀 Llama-3-8b base model trained on Orca Style Mini Datasets

Orca Style Miniデータセットで学習されたLlama-3-8bベースモデル

🚀 クイックスタート

このモデルは、Orca Style Miniデータセットで学習されたLlama-3-8bのベースモデルです。適切なクレジットと帰属表示を行うことで、このモデルをさらなるDPO/PPOチューニングやマージの基礎ベースとして使用することが許可されます。

✨ 主な機能

• 適切なクレジットと帰属表示を行えば、DPO/PPOチューニングやマージの基礎ベースとして使用可能。
• 幅広いタスクで評価され、良好なパフォーマンスを示しています。

📚 ドキュメント

告知

適切なクレジットと帰属表示を行うことで、このモデルをさらなるDPO/PPOチューニングやマージの基礎ベースとして使用する許可が与えられます。私はユーザーがこのバージョンを総合的で完全に微調整された汎用モデルとして、特定のニーズに合わせてカスタマイズし、強化することを積極的に奨励します。是非、創造的なアイデアを試してみてください！

評価

このモデルは、EleutherAIのLanguage Model Evaluation Harnessを使用して、幅広いタスクで評価されました。以下は、HuggingFaceH4 Open LLM Leaderboardで使用されている類似の指標に基づく結果です。

💻 使用例

基本的な使用法

以下はChatMLプロンプトフォーマットです。

<|im_start|>system
You are Orca Mini, a helpful AI assistant.<|im_end|>
<|im_start|>user
Hello Orca Mini, what can you do for me?<|im_end|>
<|im_start|>assistant

以下は、このモデルを使用するコード例です。

from transformers import AutoModel, AutoTokenizer
model_slug = "pankajmathur/orca_mini_v4_8b"
model = AutoModel.from_pretrained(model_slug)
tokenizer = AutoTokenizer.from_pretrained(model_slug)

messages = [
    {"role": "system", "content": "You are Orca Mini, a helpful AI assistant."},
    {"role": "user", "content": "Hello Orca Mini, what can you do for me?"}
]

gen_input = tokenizer.apply_chat_template(messages, return_tensors="pt")
model.generate(**gen_input)

📄 ライセンス

このモデルは、META LLAMA 3 COMMUNITY LICENSE AGREEMENTによって管理されています。

量子化

• GGUF : 近日公開予定
• AWQ: 近日公開予定