MT3 Gen10 Gemma 2 9B

🚀 模型融合項目

本項目使用 mergekit 工具對預訓練語言模型進行融合。通過融合不同的預訓練模型，旨在提升模型的性能和泛化能力，為自然語言處理任務提供更強大的支持。

🚀 快速開始

本模型是使用 mergekit 對預訓練語言模型進行融合的產物。

✨ 主要特性

• 多模型融合：融合了多個不同的預訓練語言模型，綜合各模型的優勢。
• 特定融合方法：採用 DARE TIES 融合方法，確保融合效果。

📚 詳細文檔

融合詳情

融合方法

本模型以 zelk12/MT-Gen6fix-gemma-2-9B 為基礎模型，使用 DARE TIES 融合方法進行融合。

融合的模型

融合過程中包含了以下模型：

• TheDrummer/Tiger-Gemma-9B-v3
• IlyaGusev/gemma-2-9b-it-abliterated
• zelk12/MT1-Gen7-gemma-2-9B
• Sorawiz/Gemma-9B-Chat
• zelk12/MT-Merge6-gemma-2-9B

配置

以下是用於生成此模型的 YAML 配置：

models:
  - model: zelk12/MT-Gen6fix-gemma-2-9B
    #no parameters necessary for base model
  - model: TheDrummer/Tiger-Gemma-9B-v3
    parameters:
      density: 0.5
      weight: 0.8
  - model: Sorawiz/Gemma-9B-Chat
    parameters:
      density: 0.5
      weight: 0.68
  - model: IlyaGusev/gemma-2-9b-it-abliterated
    parameters:
      density: 0.5
      weight: 0.61
  - model: zelk12/MT-Merge6-gemma-2-9B
    parameters:
      density: 0.5
      weight: 0.5
  - model: zelk12/MT1-Gen7-gemma-2-9B
    parameters:
      density: 0.5
      weight: 0.5

merge_method: dare_ties
base_model: zelk12/MT-Gen6fix-gemma-2-9B
parameters:
  normalize: true
dtype: bfloat16

📄 許可證

本項目使用 gemma 許可證。