Minimaid L2

🚀 MiniMaid-L2

MiniMaid-L2是基於MiniMaid-L1模型的微調模型，使用了更大且更高質量的數據集來生成角色扮演能力。它還從名為NoroMaid-7B-DPO的流行角色扮演模型中進行知識蒸餾，以增強其在連貫且出色的角色扮演能力方面的不足。該模型犧牲了一些不易察覺的令牌生成速度，換來了近乎完美且能與30億參數替代模型競爭的效果！

✨ 主要特性

模型優勢

• 知識蒸餾與微調：MiniMaid-L2通過巧妙的知識蒸餾從NoroMaid轉移知識，並在MiniMaid-L1的基礎上進行微調，構建出更優秀的AI模型，超越了其前身。
• 性能表現：在角色扮演評估中，MiniMaid-L2的整體得分比MiniMaid-L1高0.25，並且在每個主要的角色扮演指標上都擊敗了頂級的30億參數模型。它在推理時間、每秒令牌數以及BLEU/ROUGE - L等方面也表現出色，推理時間為54.2秒，比Hermes快3倍，每秒可生成6.88個令牌，在消費級GPU上近乎即時響應，n - 元語法重疊度比任何30億參數的競爭對手都要強。

適用場景

• 高保真角色扮演生成：能夠生成高質量的角色扮演內容。
• 低延遲系統：適用於對延遲要求較低的系統。
• 自定義、角色驅動的故事講述：可以根據不同角色進行故事創作。

📦 安裝指南

文檔未提供具體安裝步驟，暫無法展示。

💻 使用示例

文檔未提供代碼示例，暫無法展示。

📚 詳細文檔

MiniMaid-L1基礎模型訓練過程

• MiniMaid-L1通過直接偏好優化（DPO）和組合式深度微調過程取得了不錯的性能。為防止過擬合，使用了高學習率衰減，並引入了隨機化技術，以防止AI學習和記憶。但由於在Google Colab上訓練困難，該模型可能在特定任務上表現不佳或欠擬合，也可能對其掌握的知識過擬合。

MiniMaid-L2模型詳情

• 參數：擁有10億參數。（若要運行10億參數的模型，請諮詢GPU供應商）
• 微調工具：使用Unsloth AI進行微調，該 llama 模型使用Unsloth和Huggingface的TRL庫進行訓練，速度比常規訓練快2倍。
• 微調環境：在Google Colab上進行微調。

模型評估指標

推理性能指標

數據集

• iamketan25/roleplay-instructions-dataset
• N-Bot-Int/Iris-Uncensored-R1
• N-Bot-Int/Moshpit-Combined-R2-Uncensored
• N-Bot-Int/Mushed-Dataset-Uncensored
• N-Bot-Int/Muncher-R1-Uncensored
• N-Bot-Int/Millia-R1_DPO

基礎模型

N-Bot-Int/MiniMaid-L1

管道標籤

文本生成

庫名稱

peft

指標

字符

🔧 技術細節

文檔未提供具體技術細節內容，暫無法展示。

📄 許可證

本模型使用Apache - 2.0許可證。

常用提示信息

⚠️ 重要提示

為獲得良好體驗，請使用低溫1.5、min_p = 0.1和max_new_tokens = 128。