Pasta Lake 7b

🚀 Pasta-Lake-7b

Pasta-Lake-7bは、Test157t/Pasta-PrimaMaid-7bとmacadeliccc/WestLake-7B-v2-laser-truthy-dpoをマージしたモデルで、テキスト生成タスクで良好な性能を示します。

📄 ライセンス

このモデルは他のライセンスに基づいています。

✨ 主な機能

• 複数のテキスト生成タスクに対応しています。
• 複数のモデルをマージすることで、性能を向上させています。

📦 モデル情報

💡 使用感謝

• @Kootenによるexl2量子化モデル: https://huggingface.co/models?search=Kooten/Pasta-Lake-7b-exl2
• @bartowskiによる追加のexl2量子化モデル: https://huggingface.co/bartowski/Pasta-Lake-7b-exl2/tree/main
• @konz00によるgguf量子化モデル: https://huggingface.co/konz00/Pasta-Lake-7b-GGUF
• @Lewdiculusによる他のGGUF量子化モデル: https://huggingface.co/Lewdiculous/Pasta-Lake-7b-GGUF

マージされたモデル

次のモデルがマージに含まれています。

• Test157t/Pasta-PrimaMaid-7b
• macadeliccc/WestLake-7B-v2-laser-truthy-dpo

設定

このモデルを生成するために使用されたYAML設定は次の通りです。

slices:
  - sources:
      - model: Test157t/Pasta-PrimaMaid-7b
        layer_range: [0, 32]
      - model: macadeliccc/WestLake-7B-v2-laser-truthy-dpo
        layer_range: [0, 32]
merge_method: slerp
base_model: Test157t/Pasta-PrimaMaid-7b
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: float16

📚 詳細ドキュメント

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。