MN Slush

🚀 Slush模型介绍

Slush 是一款经过特殊训练的模型，采用两阶段训练方式，并使用高LoRA丢弃率。该模型旨在提升创造力和写作能力，同时增强角色扮演能力。

模型相关资源

(GGUFs)

🚀 快速开始

模型特点

Slush 是一个两阶段训练的模型，在第一阶段对基础模型进行预训练延续，以提升模型的创造力和写作能力。之后将其合并到指令调整模型中，第二阶段在此基础上进行微调，进一步增强其角色扮演能力，并修复第一阶段合并可能造成的问题。

参数建议

在测试过程中，使用的参数为：温度（temp）1，最小概率（min - p）0.1，动态响应因子（DRY）0.8。

✨ 主要特性

训练数据

• crestf411/LimaRP - DS
• Gryphe/Sonnet3.5 - Charcard - Roleplay
• anthracite - org/c2_logs_32k_mistral - v3_v1.2_no_system
• anthracite - org/kalo - opus - instruct - 22k - no - refusal - no - system
• anthracite - org/kalo - opus - instruct - 3k - filtered - no - system
• anthracite - org/nopm_claude_writing_fixed

基础模型

• mistralai/Mistral - Nemo - Instruct - 2407

两阶段训练

• 第一阶段（预训练延续）：目标为 mistralai/Mistral - Nemo - Base - 2407，将得到的LoRA合并到 mistralai/Mistral - Nemo - Instruct - 2407 中。使用LoRA丢弃率0.5、LoRA秩64、alpha 128，学习率采用余弦退火策略4e - 6等。
• 第二阶段（微调）：目标为第一阶段的模型，进一步增强其角色扮演能力。

遵循预设

第二阶段与 Sunfall 系列类似，遵循Silly Tavern预设（Mistral V2 & V3，V3 - Tekken也适用），使用其他工具或预设时效果可能不同。

🔧 技术细节

训练细节

第一阶段（继续预训练）

• 目标：mistralai/Mistral - Nemo - Base - 2407（得到的LoRA合并到 mistralai/Mistral - Nemo - Instruct - 2407）
• LoRA丢弃率：0.5 (动机)
• LoRA秩：64，alpha 128 (动机)
• 学习率：余弦退火4e - 6
• LoRA+ 学习率比率：15
• 上下文大小：16384
• 梯度累积步数：4
• 训练轮数：1

第二阶段（微调）

• 目标：第一阶段模型
• LoRA丢弃率：0.5
• LoRA秩：32，alpha 64
• 学习率：余弦退火5e - 6（最小值5e - 7）
• LoRA+ 学习率比率：15
• 上下文大小：16384
• 梯度累积步数：4
• 训练轮数：2

合并细节

合并方法

该模型使用 TIES 合并方法，以 mistralai/Mistral - Nemo - Base - 2407 为基础进行合并。

配置

以下是用于生成该模型的YAML配置：

models:
  - model: stage1-on-instruct
    parameters:
      weight: 1
      density: 1
  - model: stage2-on-stage1
    parameters:
      weight: 0.7
      density: 1
  - model: mistralai/Mistral-Nemo-Instruct-2407
    parameters:
      weight: 1
      density: 1
merge_method: ties
base_model: mistralai/Mistral-Nemo-Base-2407
parameters:
  weight: 1
  density: 1
  normalize: true
  int8_mask: true
tokenizer_source: mistralai/Mistral-Nemo-Instruct-2407
dtype: bfloat16

注意事项

该模型仍处于早期阶段，欢迎提供反馈，但不接受追求完美的要求。