Fimbulvetr Kuro Lotus 10.7B

🚀 Fimbulvetr-Kuro-Lotus-10.7B

このモデルは、個人が好きなモデルをマージしたものです。どちらを選ぶか決められなかったので、両方持つことにしました。MOEを使用していないのは、GPUの性能が低いためです。

独自のテストでは、高度に詳細なキャラクターカードを必要とせずに、kuro-lotusのような結果を得ることができ、8Kのコンテキストまでロープアップしても一貫性を保ちます。

私は個人的に、silly tavernで「Universal Light」プリセットを使用しています。「alpaca」では結果が短くなることがありますが、「alpaca roleplay」では長くなります。

「Universal Light」プリセットは非常に創造的ですが、一部のカードではユーザーの代わりに行動することがあります。そのような場合は、「default」を使用するのが好きですが、どのプリセットでも動作するようです！

🚀 クイックスタート

このモデルは、mergekitを使用して作成された事前学習済み言語モデルのマージです。

✨ 主な機能

• このモデルは、SLERPマージ方法を使用してマージされています。
• 独自のテストでは、高度に詳細なキャラクターカードを必要とせずに、kuro-lotusのような結果を得ることができ、8Kのコンテキストまでロープアップしても一貫性を保ちます。

📚 ドキュメント

マージの詳細

マージ方法

このモデルは、SLERPマージ方法を使用してマージされています。

マージされたモデル

以下のモデルがマージに含まれています。

• Sao10K/Fimbulvetr-10.7B-v1
• saishf/Kuro-Lotus-10.7B

設定

以下のYAML設定を使用してこのモデルが生成されました。

slices:
  - sources:
      - model: saishf/Kuro-Lotus-10.7B
        layer_range: [0, 48]
      - model: Sao10K/Fimbulvetr-10.7B-v1
        layer_range: [0, 48]
merge_method: slerp
base_model: saishf/Kuro-Lotus-10.7B
parameters:
  t:
    - filter: self_attn
      value: [0.6, 0.7, 0.8, 0.9, 1]
    - filter: mlp
      value: [0.4, 0.3, 0.2, 0.1, 0]
    - value: 0.5
dtype: bfloat16

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。

📄 ライセンス

このモデルはCC BY-NC 4.0ライセンスの下で提供されています。