L3 8B Lunar Stheno

🚀 L3-8B-Lunar-Stheno

L3-8B-Lunar-Stheno 是一個經過優化的模型。相較於 L3-8B-Stheno-v3.2，L3-8B-Lunaris-v1 在情境感知和文本表達方面有顯著提升，但也存在一些問題，比如回覆有時過長，容易喋喋不休；傾向於只承諾行動而不實際執行；在角色扮演場景之外的表現有所下降。而本次模型融合解決了上述所有問題，其效果令人印象深刻。此模型採用 SLERP 融合方式創建，但並非簡單混合，而是用 L3-8B-Lunaris-v1 的權重替換了 L3-8B-Stheno-v3.2 的權重。

🚀 快速開始

本項目主要介紹了 L3-8B-Lunar-Stheno 模型的相關信息，包括其改進之處、量化格式、詳細信息、使用的模型以及融合配置等。

✨ 主要特性

• 解決了 L3-8B-Lunaris-v1 存在的回覆過長、不執行行動承諾以及角色扮演場景外表現不佳等問題。
• 採用 SLERP 融合方式，用 L3-8B-Lunaris-v1 的權重替換 L3-8B-Stheno-v3.2 的權重。

📦 安裝指南

文檔未提供具體安裝步驟，故跳過此章節。

💻 使用示例

文檔未提供代碼示例，故跳過此章節。

📚 詳細文檔

量化格式

GGUF

• 靜態格式：
  • https://huggingface.co/HiroseKoichi/L3-8B-Lunar-Stheno-GGUF
  • https://huggingface.co/mradermacher/L3-8B-Lunar-Stheno-GGUF
• Imatrix 格式：
  • https://huggingface.co/mradermacher/L3-8B-Lunar-Stheno-i1-GGUF

詳細信息

使用的模型

• L3-8B-Stheno-v3.2
• L3-8B-Lunaris-v1

融合配置

models:
    - model: Sao10K/L3-8B-Stheno-v3.2
    - model: Sao10K/L3-8B-Lunaris-v1
merge_method: slerp
base_model: Sao10K/L3-8B-Stheno-v3.2
parameters:
  t:
    - filter: self_attn
      value: 0
    - filter: mlp
      value: 1
    - value: 0
dtype: bfloat16

🔧 技術細節

文檔未提供具體技術實現細節，故跳過此章節。

📄 許可證

本項目使用 llama3 許可證。