MT Gen1 Gemma 3 12B

🚀 預訓練語言模型合併項目

本項目使用 mergekit 對預訓練語言模型進行合併，旨在結合多個模型的優勢，提升模型的性能和適用性。

🚀 快速開始

本項目是使用 mergekit 對預訓練語言模型進行的合併。

📚 詳細文檔

合併詳情

合併方法

本模型採用 DARE TIES 合併方法，以 soob3123/amoral-gemma3-12B-v2 為基礎模型進行合併。

參與合併的模型

以下模型參與了本次合併：

• TheDrummer/Fallen-Gemma3-12B-v1
• ReadyArt/The-Omega-Directive-Gemma3-12B-v1.0
• IlyaGusev/saiga_gemma3_12b
• huihui-ai/gemma-3-12b-it-abliterated
• soob3123/amoral-gemma3-12B-v2-qat

配置信息

以下是用於生成此模型的 YAML 配置文件：

models:
  - model: soob3123/amoral-gemma3-12B-v2
    #no parameters necessary for base model
  - model: IlyaGusev/saiga_gemma3_12b
    parameters:
      density: 0.5
      weight: 0.5

  - model: TheDrummer/Fallen-Gemma3-12B-v1
    parameters:
      density: 0.5
      weight: 0.5
  
  - model: soob3123/amoral-gemma3-12B-v2-qat
    parameters:
      density: 0.5
      weight: 0.5
  
  - model: huihui-ai/gemma-3-12b-it-abliterated
    parameters:
      density: 0.5
      weight: 0.5
  
  - model: ReadyArt/The-Omega-Directive-Gemma3-12B-v1.0
    parameters:
      density: 0.5
      weight: 0.5

merge_method: dare_ties
base_model: soob3123/amoral-gemma3-12B-v2
parameters:
  normalize: true
dtype: bfloat16

📄 許可證

本項目使用的許可證為 gemma。

📋 模型信息