MT2 Gen11 Gemma 2 9B

🚀 モデルマージ

これは、mergekitを使用して作成された事前学習済み言語モデルのマージです。

🚀 クイックスタート

このモデルは、事前学習済み言語モデルをマージすることで生成されています。以下に詳細を説明します。

✨ 主な機能

このマージモデルは、複数の事前学習済みモデルの特性を組み合わせることで、より高性能なテキスト生成能力を提供します。

📚 ドキュメント

マージの詳細

マージ方法

このモデルは、DARE TIESマージ方法を使用し、zelk12/MT-Merge6-gemma-2-9Bをベースとしてマージされました。

マージされたモデル

以下のモデルがマージに含まれています：

• TheDrummer/Tiger-Gemma-9B-v3
• IlyaGusev/gemma-2-9b-it-abliterated
• zelk12/MT-Gen6fix-gemma-2-9B
• Sorawiz/Gemma-9B-Chat
• zelk12/MT1-Gen7-gemma-2-9B

設定

以下のYAML設定を使用してこのモデルが生成されました：

models:
  - model: zelk12/MT-Merge6-gemma-2-9B
    #no parameters necessary for base model
  - model: zelk12/MT1-Gen7-gemma-2-9B
    parameters:
      density: 0.8
      weight: 0.5
  - model: IlyaGusev/gemma-2-9b-it-abliterated
    parameters:
      density: 0.75
      weight: 0.5
  - model: Sorawiz/Gemma-9B-Chat
    parameters:
      density: 0.72
      weight: 0.5
  - model: TheDrummer/Tiger-Gemma-9B-v3
    parameters:
      density: 0.67
      weight: 0.5
  - model: zelk12/MT-Gen6fix-gemma-2-9B
    parameters:
      density: 0.5
      weight: 0.5

merge_method: dare_ties
base_model: zelk12/MT-Merge6-gemma-2-9B
parameters:
  normalize: true
dtype: bfloat16

📄 ライセンス

このモデルのライセンスはgemmaです。

情報テーブル