MT2 Gen11 Gemma 2 9B

🚀 模型融合項目

本項目使用 mergekit 對預訓練語言模型進行融合。通過融合多個優秀的預訓練模型，旨在提升模型在文本生成等任務上的性能和表現。

🚀 快速開始

本項目是基於 mergekit 工具進行預訓練語言模型融合的成果。如果你想使用該融合模型進行文本生成任務，可按照以下步驟操作：

1. 確保你已經安裝了 transformers 庫。
2. 按照本 README 中提供的配置信息，使用 mergekit 工具進行模型融合。
3. 使用融合後的模型進行文本生成。

✨ 主要特性

• 多模型融合：融合了多個不同的預訓練語言模型，綜合各模型的優勢。
• 特定融合方法：採用 DARE TIES 融合方法，提升融合效果。
• 可配置性：通過 YAML 配置文件，可以靈活調整各模型的參數和權重。

📚 詳細文檔

融合詳情

融合方法

本模型以 zelk12/MT-Merge6-gemma-2-9B 為基礎，採用 DARE TIES 融合方法進行融合。

參與融合的模型

融合過程中包含了以下模型：

• TheDrummer/Tiger-Gemma-9B-v3
• IlyaGusev/gemma-2-9b-it-abliterated
• zelk12/MT-Gen6fix-gemma-2-9B
• Sorawiz/Gemma-9B-Chat
• zelk12/MT1-Gen7-gemma-2-9B

配置信息

以下是用於生成此模型的 YAML 配置文件：

models:
  - model: zelk12/MT-Merge6-gemma-2-9B
    #no parameters necessary for base model
  - model: zelk12/MT1-Gen7-gemma-2-9B
    parameters:
      density: 0.8
      weight: 0.5
  - model: IlyaGusev/gemma-2-9b-it-abliterated
    parameters:
      density: 0.75
      weight: 0.5
  - model: Sorawiz/Gemma-9B-Chat
    parameters:
      density: 0.72
      weight: 0.5
  - model: TheDrummer/Tiger-Gemma-9B-v3
    parameters:
      density: 0.67
      weight: 0.5
  - model: zelk12/MT-Gen6fix-gemma-2-9B
    parameters:
      density: 0.5
      weight: 0.5

merge_method: dare_ties
base_model: zelk12/MT-Merge6-gemma-2-9B
parameters:
  normalize: true
dtype: bfloat16

信息表格

📄 許可證

本項目使用的許可證為 gemma 許可證。請在使用該融合模型時遵守相應的許可證規定。