Excalibur 7b DPO

🚀 Excalibur-7b-DPO

這是一次對微調領域的初步探索，此次發佈旨在提升原始模型的響應質量，尤其針對視覺用例。

此處 提供加權（重要性矩陣）量化版本

此處 提供靜態（傳統）量化版本

🚀 快速開始

本項目是對 Excalibur-7b 模型使用 Direct Preference Optimization (DPO) 方法，基於 Intel/orca_dpo_pairs 數據集進行微調的成果。這是一個快速實驗，旨在確定 DPO 微調對 Excelsior-7b 基礎模型的影響。實驗在單個 A100 上運行了一個多小時，微調成功使模型更具對話能力且更加全面。

✨ 主要特性

• 微調優化：使用 DPO 方法對 Excalibur-7b 模型進行微調，提升了模型的對話能力和全面性。
• 性能提升：與基礎的 Excelsior-7b 模型相比，在多個基準測試中得分有所提高，具體如下：
  • ARC：從 69.71 提升到 70.9
  • HellaSwag：從 87.56 提升到 87.93
  • TruthfulQA：從 67.24 提升到 70.82
  • 平均分：從 73.6 提升到 73.84
• 精度：採用 bfloat16 精度。

📚 詳細文檔

視覺用例說明

⚠️ 重要提示

視覺功能需要額外的 mmproj 文件。您有兩種選擇（可在本倉庫中獲取）：

• 量化版本 - 有限顯存選項 (197mb)
• 非量化版本 - 高級選項 / 最佳質量 (596mb)

在 Koboldcpp 中像往常一樣選擇您需要的 gguf 文件，然後確保在模型子菜單的 LLaVA mmproj 字段中選擇上述的 mmproj 文件：

提示格式

💡 使用建議

為獲得最佳效果，請使用 ChatML 作為提示格式，Alpaca 格式也可能適用。

基準測試結果

詳細結果可查看 此處

📄 許可證

本項目採用 Apache-2.0 許可證。