MT Gen1 Gemma 3 12B

🚀 モデルマージプロジェクト

このプロジェクトは、事前学習された言語モデルをmergekitを使用してマージするものです。画像とテキストを入力とし、テキストを出力するタスクに特化しています。

🚀 クイックスタート

このマージモデルは、事前学習された複数の言語モデルを組み合わせることで作成されています。以下に詳細を説明します。

✨ 主な機能

• 複数の事前学習言語モデルをマージすることができます。
• DARE TIESというマージ手法を用いています。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

このREADMEには具体的なコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

マージの詳細

マージ手法

このモデルは、soob3123/amoral-gemma3-12B-v2をベースとして、DARE TIESというマージ手法を用いて作成されています。

マージされたモデル

以下のモデルがマージに含まれています：

• TheDrummer/Fallen-Gemma3-12B-v1
• ReadyArt/The-Omega-Directive-Gemma3-12B-v1.0
• IlyaGusev/saiga_gemma3_12b
• huihui-ai/gemma-3-12b-it-abliterated
• soob3123/amoral-gemma3-12B-v2-qat

設定

このモデルを作成するために使用されたYAML設定は以下の通りです：

models:
  - model: soob3123/amoral-gemma3-12B-v2
    #no parameters necessary for base model
  - model: IlyaGusev/saiga_gemma3_12b
    parameters:
      density: 0.5
      weight: 0.5

  - model: TheDrummer/Fallen-Gemma3-12B-v1
    parameters:
      density: 0.5
      weight: 0.5
  
  - model: soob3123/amoral-gemma3-12B-v2-qat
    parameters:
      density: 0.5
      weight: 0.5
  
  - model: huihui-ai/gemma-3-12b-it-abliterated
    parameters:
      density: 0.5
      weight: 0.5
  
  - model: ReadyArt/The-Omega-Directive-Gemma3-12B-v1.0
    parameters:
      density: 0.5
      weight: 0.5

merge_method: dare_ties
base_model: soob3123/amoral-gemma3-12B-v2
parameters:
  normalize: true
dtype: bfloat16

🔧 技術詳細

このREADMEには具体的な技術詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルのライセンスはgemmaです。