Paxinium 12b Model Stock

🚀 預訓練語言模型合併項目

本項目使用 mergekit 工具對多個預訓練語言模型進行合併，旨在融合不同模型的優勢，提升語言處理能力。

🚀 快速開始

本項目是使用 mergekit 創建的預訓練語言模型合併項目。

📚 詳細文檔

🔍 合併詳情

合併方法

本模型採用 Model Stock 合併方法，以 Delta-Vector/Francois-PE-V2-Huali-12B 為基礎模型進行合併。

參與合併的模型

以下模型參與了此次合併：

• Delta-Vector/Rei-V3-KTO-12B
• yamatazen/EtherealAurora-12B-v2
• redrix/GodSlayer-12B-ABYSS
• yamatazen/BlueLight-12B

配置信息

以下是用於生成此模型的 YAML 配置：

base_model: Delta-Vector/Francois-PE-V2-Huali-12B
models:
  - model: Delta-Vector/Rei-V3-KTO-12B
  - model: redrix/GodSlayer-12B-ABYSS
  - model: yamatazen/BlueLight-12B
  - model: yamatazen/EtherealAurora-12B-v2  
merge_method: model_stock
dtype: bfloat16
parameters:
  normalize: true

🔖 模型信息表格