MT Gemma 3 12B

🚀 モデルマージプロジェクト

このプロジェクトは、事前学習された言語モデルをマージするもので、mergekit を使用して作成されました。マージにより、異なるモデルの特性を組み合わせ、新たなモデルを生成します。

🚀 クイックスタート

このマージされたモデルは、transformers ライブラリを使用して操作できます。以下に基本的な情報を示します。

✨ 主な機能

このマージされたモデルは、事前学習された複数の言語モデルの特性を組み合わせることで、より高性能な言語処理能力を提供します。

📚 ドキュメント

マージの詳細

マージ方法

このモデルは、DARE TIES マージ方法を使用してマージされました。ベースモデルとして soob3123/amoral-gemma3-12B-v2 を使用しています。

マージされたモデル

以下のモデルがマージに含まれています。

• IlyaGusev/saiga_gemma3_12b

設定

以下のYAML設定を使用してこのモデルが生成されました。

models:
  - model: soob3123/amoral-gemma3-12B-v2
    #no parameters necessary for base model
  - model: IlyaGusev/saiga_gemma3_12b
    parameters:
      density: 0.5
      weight: 0.5

merge_method: dare_ties
base_model: soob3123/amoral-gemma3-12B-v2
parameters:
  normalize: true
dtype: bfloat16

📄 ライセンス

このモデルは gemma ライセンスの下で提供されています。