Magtie V1 12B

🚀 MagTie-v1-12B

MagTie-v1-12B是一個使用mergekit創建的預訓練語言模型融合體。該模型以預訓練的基礎模型為基礎進行DARE-TIES融合，並通過提升權重和密度進行補償，從而保留了更多來自貢獻模型的訓練信息。

🚀 快速開始

此項目主要涉及模型融合，暫未提及具體使用步驟。若要使用該融合模型，可參考 transformers 庫的相關文檔。

✨ 主要特性

• 基於DARE-TIES方法融合多個預訓練語言模型。
• 通過提升權重和密度補償，保留更多訓練信息。

📚 詳細文檔

🔍 融合詳情

融合方法

本模型採用DARE TIES融合方法，以grimjim/mistralai-Mistral-Nemo-Base-2407為基礎進行融合。

參與融合的模型

以下模型參與了融合：

• Delta-Vector/Francois-Huali-12B
• grimjim/Magnolia-v3-12B
• inflatebot/MN-12B-Mag-Mell-R1

配置

以下是用於生成此模型的YAML配置：

base_model: grimjim/mistralai-Mistral-Nemo-Base-2407
models:
  - model: grimjim/mistralai-Mistral-Nemo-Base-2407
  - model: inflatebot/MN-12B-Mag-Mell-R1
    parameters:
      weight: 0.85
      density: 0.75
  - model: Delta-Vector/Francois-Huali-12B
    parameters:
      weight: 0.85
      density: 0.75
  - model: grimjim/Magnolia-v3-12B
    parameters:
      weight: 0.85
      density: 0.75
merge_method: dare_ties
parameters:
  normalize: true
  int8_mask: true
dtype: bfloat16

📄 許可證

本項目採用 apache-2.0 許可證。

📋 信息表格