MN Slush

🚀 Slush

Slushは、高いLoRAドロップアウトを用いて2段階で学習されたモデルです。第1段階ではベースモデルの事前学習を継続し、モデルの創造性と文章生成能力を向上させます。その後、これを命令調整モデルにマージし、第2段階ではロールプレイ能力をさらに強化したり、第1段階のマージで生じた不具合を修正したりするための微調整を行います。

このモデルはまだ初期段階です。いつも通り、フィードバックは大歓迎ですが、完璧を要求する方はご遠慮ください。

第2段階は、Sunfallシリーズと同様に、Silly Tavernのプリセット（Mistral V2 & V3、ただしV3-Tekkenも問題なく動作します）に従っています。したがって、他のツールやプリセットを使用する場合は、結果が異なる可能性があります。

🚀 クイックスタート

このモデルの使用に関する基本的な情報を以下に示します。

(GGUFs)

✨ 主な機能

• 高いLoRAドロップアウトを用いた2段階学習により、創造性と文章生成能力が向上しています。
• ロールプレイ能力が強化されています。
• 第1段階のマージで生じた不具合を修正する機能も備えています。

🔧 技術詳細

パラメータの提案

私はすべてのテストをtemp 1、min-p 0.1、DRY 0.8で行いました。

学習の詳細

• 第1段階（事前学習の継続）
  • 対象: mistralai/Mistral-Nemo-Base-2407（結果として得られたLoRAをmistralai/Mistral-Nemo-Instruct-2407にマージ）
  • LoRAドロップアウト 0.5 (動機)
  • LoRAランク 64、アルファ 128 (動機)
  • LRコサイン 4e-6
  • LoRA+ 、LR比率: 15
  • コンテキストサイズ: 16384
  • 勾配累積ステップ: 4
  • エポック数: 1
• 第2段階（微調整）
  • 対象: 第1段階のモデル
  • LoRAドロップアウト 0.5
  • LoRAランク 32、アルファ 64
  • LRコサイン 5e-6（最小 5e-7）
  • LoRA+ 、LR比率: 15
  • コンテキストサイズ: 16384
  • 勾配累積ステップ: 4
  • エポック数: 2

マージの詳細

マージ方法

このモデルは、TIESマージ方法を使用し、mistralai/Mistral-Nemo-Base-2407をベースにマージされました。

設定

このモデルを生成するために使用されたYAML設定は以下の通りです。

models:
  - model: stage1-on-instruct
    parameters:
      weight: 1
      density: 1
  - model: stage2-on-stage1
    parameters:
      weight: 0.7
      density: 1
  - model: mistralai/Mistral-Nemo-Instruct-2407
    parameters:
      weight: 1
      density: 1
merge_method: ties
base_model: mistralai/Mistral-Nemo-Base-2407
parameters:
  weight: 1
  density: 1
  normalize: true
  int8_mask: true
tokenizer_source: mistralai/Mistral-Nemo-Instruct-2407
dtype: bfloat16

情報テーブル