Orca Mini V4 8b

🚀 Llama-3-8b基於Orca風格迷你數據集訓練的基礎模型

本模型是基於Orca風格迷你數據集訓練的Llama-3-8b基礎模型，可用於文本生成等任務，為用戶提供強大的文本處理能力。

🚀 快速開始

本模型使用了Hugging Face的transformers庫，你可以按照以下示例代碼快速使用該模型。

✨ 主要特性

• 基於Orca風格迷你數據集訓練，具有良好的文本生成能力。
• 允許用戶在提供適當引用和歸屬的情況下，將其作為基礎模型進行進一步的DPO/PPO調優或合併。
• 經過在多種任務上的評估，表現出了較好的性能。

📦 安裝指南

暫未提供具體安裝步驟，你可以參考transformers庫的官方文檔進行安裝。

💻 使用示例

基礎用法

以下是ChatML的提示格式：

<|im_start|>system
You are Orca Mini, a helpful AI assistant.<|im_end|>
<|im_start|>user
Hello Orca Mini, what can you do for me?<|im_end|>
<|im_start|>assistant

以下是使用該模型的代碼示例：

from transformers import AutoModel, AutoTokenizer
model_slug = "pankajmathur/orca_mini_v4_8b"
model = AutoModel.from_pretrained(model_slug)
tokenizer = AutoTokenizer.from_pretrained(model_slug)

messages = [
    {"role": "system", "content": "You are Orca Mini, a helpful AI assistant."},
    {"role": "user", "content": "Hello Orca Mini, what can you do for me?"}
]

gen_input = tokenizer.apply_chat_template(messages, return_tensors="pt")
model.generate(**gen_input)

📚 詳細文檔

評估

我們使用EleutherAI的Language Model Evaluation Harness在廣泛的任務上對該模型進行了評估。以下是在HuggingFaceH4 Open LLM Leaderboard使用的類似指標上的評估結果：

注意事項

通過提供適當的引用和歸屬，你被允許將此模型用作進一步DPO/PPO調優或合併的基礎模型。我積極鼓勵用戶根據自己的特定需求對模型進行定製和改進，因為此版本旨在成為一個全面的、完全微調的通用模型。快來嘗試並創新吧！

量化

• GGUF：即將推出
• AWQ：即將推出

📄 許可證

此模型受META LLAMA 3 COMMUNITY LICENSE AGREEMENT約束。