L3 8B Lunar Stheno

🚀 L3-8B-Lunar-Stheno

L3-8B-Lunaris-v1は、状況認識と文章表現の点でL3-8B-Stheno-v3.2よりも明らかに改善されています。しかし、いくつかの問題もあります。レスポンスが非常に長くなることがあり、無駄に話を続けることがあります。また、直接的な行動を起こさず、何かをすると言いながら実際には行動しない傾向があり、ロールプレイ以外の性能も低下しています。

このマージにより、これらの問題はすべて解消され、結果に本当に感心しています。このモデルを作成する際にはSLERPマージを使用しましたが、モデルをブレンドすることはせず、L3-8B-Stheno-v3.2の重みをL3-8B-Lunaris-v1の重みに置き換えるだけでした。

🚀 クイックスタート

このセクションでは、L3-8B-Lunar-Sthenoの概要と使用方法について説明します。

✨ 主な機能

• L3-8B-Lunaris-v1をベースに、L3-8B-Stheno-v3.2の問題点を解消したマージモデルです。
• 状況認識と文章表現が改善されています。

📚 ドキュメント

量子化形式

GGUF

• 静的:
  • https://huggingface.co/HiroseKoichi/L3-8B-Lunar-Stheno-GGUF
  • https://huggingface.co/mradermacher/L3-8B-Lunar-Stheno-GGUF
• Imatrix:
  • https://huggingface.co/mradermacher/L3-8B-Lunar-Stheno-i1-GGUF

詳細情報

使用されたモデル

• L3-8B-Stheno-v3.2
• L3-8B-Lunaris-v1

マージ設定

models:
    - model: Sao10K/L3-8B-Stheno-v3.2
    - model: Sao10K/L3-8B-Lunaris-v1
merge_method: slerp
base_model: Sao10K/L3-8B-Stheno-v3.2
parameters:
  t:
    - filter: self_attn
      value: 0
    - filter: mlp
      value: 1
    - value: 0
dtype: bfloat16

📄 ライセンス

このモデルはllama3のライセンスの下で提供されています。