L3 Aethora 15B

🚀 L3 - Aethora - 15B

L3 - Aethora - 15B 是一款經過精心打造的模型，通過特定方法調整模型響應，抑制拒絕機制，專注於提供更合規、更具促進性的對話交互。經過一系列訓練和優化，該模型在效率和性能上有出色表現。

🚀 快速開始

本模型基於 L3 提示格式進行訓練，在使用時請遵循該格式以獲得最佳效果。

✨ 主要特性

• 響應調整：使用 abilteration 方法調整模型響應，抑制模型拒絕機制，使對話交互更順暢、更具協作性。
• 高效合併：通過改進的 DUS（深度提升縮放）合併方法（最初由 @Elinas 使用），使用直通合併創建 15B 模型，並對 'o_proj' 和 'down_proj' 進行特定調整（歸零），提高效率並降低困惑度。
• 優質訓練：在 Aether - Lite - V1.2 數據集上使用 Rslora 和 DORA 訓練方法進行 4 個週期的訓練，該數據集包含約 82000 個高質量樣本，在創造力、流暢性和智能性之間實現了約 60/40 的平衡。

📦 安裝指南

暫未提供相關安裝步驟。

💻 使用示例

暫未提供相關代碼示例。

📚 詳細文檔

模型基本信息

模型構建過程

1. 響應調整：使用 abilteration 方法調整模型響應，抑制拒絕機制，創建 AbL3In - 15b。
2. 合併優化：對 AbL3In - 15b 進行改進的 DUS 合併，對 'o_proj' 和 'down_proj' 進行特定調整（歸零），提高效率並降低困惑度。
3. 數據集訓練：在 Aether - Lite - V1.2 數據集上使用 Rslora 和 DORA 訓練方法進行 4 個週期的訓練。

量化版本

• Mradermacher/L3 - Aethora - 15B - GGUF
• Mradermacher/L3 - Aethora - 15B - i1 - GGUF
• NikolayKozloff/L3 - Aethora - 15B - GGUF

數據集摘要（過濾後）

過濾短語：GPTslop, Claudism's

去重統計

• 起始行數：85628
• 最終行數：81960
• 移除行數：3668

🔧 技術細節

模型縮寫含義

L3 = Llama3

模型調整與合併

L3 - Aethora - 15B 通過 abilteration 方法調整模型響應，抑制拒絕機制，專注於產生更合規和促進性的對話交互。然後使用直通合併進行改進的 DUS（深度提升縮放）合併（最初由 @Elinas 使用）創建 15B 模型，並對 'o_proj' 和 'down_proj' 進行特定調整（歸零），提高其效率並降低困惑度，從而創建了 AbL3In - 15b。

訓練過程

AbL3In - 15b 在 Aether - Lite - V1.2 數據集上使用 Rslora 和 DORA 訓練方法進行了 4 個週期的訓練。該數據集包含約 82000 個高質量樣本，旨在在創造力、流暢性和智能性之間實現約 60/40 的平衡。

📄 許可證

本模型使用 llama3 許可證。

捐贈信息

如果您想進行捐贈，可以點擊以下鏈接： Buy Me a Coffee at ko - fi.com