MT Gen10 Gemma 2 9B

🚀 預訓練語言模型合併項目

本項目是使用 mergekit 對預訓練語言模型進行合併的成果。通過合併多個模型，旨在提升模型的性能和適用性，為自然語言處理任務提供更強大的支持。

📦 模型信息

📚 詳細文檔

合併詳情

合併方法

本模型採用 DARE TIES 合併方法，以 zelk12/MT-Gen6fix-gemma-2-9B 為基礎模型進行合併。

參與合併的模型

以下模型參與了本次合併：

• Sorawiz/Gemma-9B-Chat
• zelk12/MT1-Gen7-gemma-2-9B
• zelk12/MT-Merge6-gemma-2-9B
• IlyaGusev/gemma-2-9b-it-abliterated
• TheDrummer/Tiger-Gemma-9B-v3

配置信息

以下是用於生成此模型的 YAML 配置：

models:
  - model: zelk12/MT-Gen6fix-gemma-2-9B
    # 基礎模型無需參數
  - model: TheDrummer/Tiger-Gemma-9B-v3
    parameters:
      density: 0.5
      weight: 0.5
  - model: Sorawiz/Gemma-9B-Chat
    parameters:
      density: 0.61
      weight: 0.5
  - model: IlyaGusev/gemma-2-9b-it-abliterated
    parameters:
      density: 0.68
      weight: 0.5
  - model: zelk12/MT-Merge6-gemma-2-9B
    parameters:
      density: 0.8
      weight: 0.5
  - model: zelk12/MT1-Gen7-gemma-2-9B
    parameters:
      density: 0.8
      weight: 0.5

merge_method: dare_ties
base_model: zelk12/MT-Gen6fix-gemma-2-9B
parameters:
  normalize: true
dtype: bfloat16

📄 許可證

本項目採用 gemma 許可證。具體的許可條款和使用限制請參考相關文檔。