MT1 Gen11 Gemma 2 9B

🚀 モデルマージ

このプロジェクトは、mergekit を使用して作成された事前学習言語モデルのマージ結果です。これにより、複数のモデルの特性を組み合わせた新しい言語モデルが生成されます。

📦 モデル情報

🚀 クイックスタート

このマージモデルは、事前学習済みの言語モデルを組み合わせることで作成されています。以下に、マージの詳細を説明します。

✨ 主な機能

• 複数の事前学習言語モデルをマージすることで、新しいモデルを生成します。
• DARE TIES マージ方法を使用して、モデルを効果的にマージします。

📚 ドキュメント

🔧 マージ詳細

マージ方法

このモデルは、DARE TIES マージ方法を使用して、zelk12/MT-Merge6-gemma-2-9B をベースにマージされています。

マージされたモデル

以下のモデルがマージに含まれています：

• TheDrummer/Tiger-Gemma-9B-v3
• zelk12/MT-Gen6fix-gemma-2-9B
• Sorawiz/Gemma-9B-Chat
• zelk12/MT1-Gen7-gemma-2-9B
• IlyaGusev/gemma-2-9b-it-abliterated

設定

以下のYAML設定を使用して、このモデルが生成されました：

models:
  - model: zelk12/MT-Merge6-gemma-2-9B
    #no parameters necessary for base model
  - model: zelk12/MT1-Gen7-gemma-2-9B
    parameters:
      density: 0.5
      weight: 0.5
  - model: IlyaGusev/gemma-2-9b-it-abliterated
    parameters:
      density: 0.5
      weight: 0.54
  - model: Sorawiz/Gemma-9B-Chat
    parameters:
      density: 0.5
      weight: 0.57
  - model: TheDrummer/Tiger-Gemma-9B-v3
    parameters:
      density: 0.5
      weight: 0.62
  - model: zelk12/MT-Gen6fix-gemma-2-9B
    parameters:
      density: 0.5
      weight: 0.8

merge_method: dare_ties
base_model: zelk12/MT-Merge6-gemma-2-9B
parameters:
  normalize: true
dtype: bfloat16

📄 ライセンス

このモデルは、gemma ライセンスの下で提供されています。