Violet Twilight V0.2

🚀 Violet_Twilight-v0.2

Violet_Twilight-v0.2 是 Azure_Dusk-v0.2 和 Crimson_Dawn-v0.2 的 SLERP 合併模型，可用於文本生成任務。它支持多種量化版本，在多個評估數據集上有相應表現。

✨ 主要特性

• 多語言支持：支持英語、法語、德語、西班牙語、意大利語、葡萄牙語、俄語、中文和日語。
• 多數據集訓練：基於多個數據集進行訓練，包括 Epiculous/SynthRP-Gens-v1.1-Filtered-n-Cleaned、anthracite-org/stheno-filtered-v1.1 等。
• 文本生成能力：適用於文本生成任務。
• 多種量化版本：提供完整版本、exl2 和 gguf 量化版本。

📦 安裝指南

文檔未提供具體安裝步驟，暫不展示。

💻 使用示例

基礎用法

v0.2 模型基於 ChatML 進行訓練，提示結構如下：

<|im_start|>user
Hi there!<|im_end|>
<|im_start|>assistant
Nice to meet you!<|im_end|>
<|im_start|>user
Can I ask a question?<|im_end|>
<|im_start|>assistant

高級用法

文檔未提供高級用法示例，暫不展示。

上下文和指令

v0.2 模型基於 ChatML 進行訓練，請使用該上下文和指令模板。

當前頂級採樣器設置

• Smooth Creativity：感謝 Juelsman 的研究！
• Variant Chimera：感謝 Numbra！
• Spicy_Temp
• Violet_Twilight-Nitral-Special

🔧 技術細節

合併配置

以下配置用於合併 Azure Dusk 和 Crimson Dawn：

slices:
  - sources:
      - model: Epiculous/Azure_Dusk-v0.2
        layer_range: [0, 40]
      - model: Epiculous/Crimson_Dawn-V0.2
        layer_range: [0, 40]
merge_method: slerp
base_model: Epiculous/Azure_Dusk-v0.2
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5 # fallback for rest of tensors
dtype: bfloat16

📚 詳細文檔

評估結果

Open LLM Leaderboard 評估結果 詳細結果可查看 此處

📄 許可證

本項目採用 Apache-2.0 許可證。

📋 模型信息