Stellar Odyssey 12b V0.0

🚀 Stellar Odyssey 12b v0.0

這是一個模型合併項目，通過合併多個基礎模型得到新的模型，適用於角色扮演場景，採用ChatML指令格式。

🚀 快速開始

聆聽主題曲：點擊在Youtube收聽

這是我第二次嘗試進行模型合併，此次合併使用了以下模型：

• mistralai/Mistral-Nemo-Base-2407
• Sao10K/MN-12B-Lyra-v4
• nothingiisreal/MN-12B-Starcannon-v2
• Gryphe/Pantheon-RP-1.5-12b-Nemo

預期用例：角色扮演 指令格式：ChatML

感謝AuriAetherwiing幫助我合併模型。

✨ 主要特性

數據相關

這是一個較難回答的問題，我並未向模型本身添加任何數據，它是其他模型的合併結果，因此其他模型使用的數據也適用於此模型，儘管不會完全相同。

許可證

本模型採用cc - by - nc - 4.0許可證，除非您與我聯繫並獲得我明確許可用於商業服務。我不會接受以下任何一方的合作請求：

• Infermatic AI
• “AI女友”應用程序或任何利用孤獨感吸引客戶的應用程序。
• 任何拒絕透露身份和運營者的個人或組織，即使簽署了保密協議。
• 任何掠奪性或剝削他人的服務。

我僅授權Featherless.AI/Recursal、ArliAI和WyvernChat託管我的模型。

📚 詳細文檔

合併詳情

本模型使用della_linear合併方法，以mistralai/Mistral-Nemo-Base-2407為基礎進行合併。

合併的模型

以下模型參與了合併：

• Sao10K/MN-12B-Lyra-v4
• Gryphe/Pantheon-RP-1.5-12b-Nemo
• nothingiisreal/MN-12B-Starcannon-v2

配置

以下YAML配置用於生成此模型：

models:
  - model: C:\Users\\Downloads\Mergekit-Fixed\mergekit\Sao10K_MN-12B-Lyra-v4
    parameters:
      weight: 0.3
      density: 0.25
  - model: C:\Users\\Downloads\Mergekit-Fixed\mergekit\nothingiisreal_MN-12B-Starcannon-v2
    parameters:
      weight: 0.1
      density: 0.4
  - model: C:\Users\\Downloads\Mergekit-Fixed\mergekit\Gryphe_Pantheon-RP-1.5-12b-Nemo
    parameters:
      weight: 0.4
      density: 0.5
merge_method: della_linear
base_model: C:\Users\\Downloads\Mergekit-Fixed\mergekit\mistralai_Mistral-Nemo-Base-2407
parameters:
  epsilon: 0.05
  lambda: 1
merge_method: della_linear
dtype: bfloat16

注意事項

• Della_Linear：請參考https://arxiv.org/abs/2406.11617和https://arxiv.org/abs/2212.04089，因為解釋Della_Linear是什麼相當冗長。
• BFloat16：Brain Floating Point 16，一種在Nvidia GPU上更快運行模型的方式。
• Density：保留與基礎模型差異權重的比例。
• Epsilon：基於幅度的丟棄概率的最大變化。分配的丟棄概率範圍為...