Orca Mini V5 8b Dpo

🚀 Llama 3 Orca Mini V5 8B DPO模型

Llama 3 Orca Mini V5 8B DPO是一個經過多種DPO數據集訓練的模型，可用於文本生成任務，能為用戶提供有用的AI輔助服務。

🚀 快速開始

本模型允許用戶在提供適當的引用和歸屬的前提下，將其作為基礎模型進行進一步的全量微調、DPO、PPO或ORPO調優以及任何類型的合併操作。鼓勵用戶根據自身特定需求對模型進行定製和改進。

✨ 主要特性

• 可作為基礎模型進行多種調優操作，如全量微調、DPO、PPO或ORPO調優等。
• 適用於文本生成任務，以ChatML提示格式進行交互。
• 設計為綜合通用模型，可根據用戶需求定製。

📦 安裝指南

文檔未提及安裝步驟，暫無法提供。

💻 使用示例

基礎用法

以下是ChatML提示格式：

<|im_start|>system
You are Orca Mini, a helpful AI assistant.<|im_end|>
<|im_start|>user
Hello Orca Mini, what can you do for me?<|im_end|>
<|im_start|>assistant

高級用法

以下展示瞭如何使用該模型的代碼示例：

from transformers import AutoModel, AutoTokenizer
model_slug = "pankajmathur/orca_mini_v5_8b_dpo"
model = AutoModel.from_pretrained(model_slug)
tokenizer = AutoTokenizer.from_pretrained(model_slug)

messages = [
    {"role": "system", "content": "You are Orca Mini, a helpful AI assistant."},
    {"role": "user", "content": "Hello Orca Mini, what can you do for me?"}
]

gen_input = tokenizer.apply_chat_template(messages, return_tensors="pt")
model.generate(**gen_input)

📚 詳細文檔

評估

Open LLM Leaderboard評估結果

詳細結果可查看此處。

📄 許可證

本模型受META LLAMA 3 COMMUNITY LICENSE AGREEMENT約束。

量化版本

• GGUF：即將推出
• AWQ：即將推出

⚠️ 重要提示

使用本模型需提供適當的引用和歸屬，可將其作為基礎模型進行進一步調優和合並操作。

💡 使用建議

本模型設計為綜合通用模型，用戶可根據自身特定需求對其進行定製和改進。