MT1 Gen11 Gemma 2 9B

🚀 模型融合項目

本項目使用 mergekit 對預訓練語言模型進行融合。通過融合多個預訓練模型，旨在提升模型的性能和適用性，為自然語言處理任務提供更強大的工具。

🚀 快速開始

本項目主要是對多個預訓練語言模型進行融合，若要使用融合後的模型，可參考 transformers 庫的相關文檔進行操作。

✨ 主要特性

• 模型融合：使用 mergekit 工具將多個預訓練語言模型融合為一個新模型。
• 特定融合方法：採用 DARE TIES 融合方法，以 zelk12/MT-Merge6-gemma-2-9B 為基礎進行融合。

🔧 技術細節

融合詳情

融合方法

本模型採用 DARE TIES 融合方法，以 zelk12/MT-Merge6-gemma-2-9B 作為基礎模型進行融合。

參與融合的模型

以下模型參與了融合：

• TheDrummer/Tiger-Gemma-9B-v3
• zelk12/MT-Gen6fix-gemma-2-9B
• Sorawiz/Gemma-9B-Chat
• zelk12/MT1-Gen7-gemma-2-9B
• IlyaGusev/gemma-2-9b-it-abliterated

配置信息

以下是用於生成此模型的 YAML 配置：

models:
  - model: zelk12/MT-Merge6-gemma-2-9B
    # 基礎模型無需參數
  - model: zelk12/MT1-Gen7-gemma-2-9B
    parameters:
      density: 0.5
      weight: 0.5
  - model: IlyaGusev/gemma-2-9b-it-abliterated
    parameters:
      density: 0.5
      weight: 0.54
  - model: Sorawiz/Gemma-9B-Chat
    parameters:
      density: 0.5
      weight: 0.57
  - model: TheDrummer/Tiger-Gemma-9B-v3
    parameters:
      density: 0.5
      weight: 0.62
  - model: zelk12/MT-Gen6fix-gemma-2-9B
    parameters:
      density: 0.5
      weight: 0.8

merge_method: dare_ties
base_model: zelk12/MT-Merge6-gemma-2-9B
parameters:
  normalize: true
dtype: bfloat16

📄 許可證

本項目使用 gemma 許可證。