Paxinium 12b Model Stock

🚀 预训练语言模型合并项目

本项目使用 mergekit 工具对多个预训练语言模型进行合并，旨在融合不同模型的优势，提升语言处理能力。

🚀 快速开始

本项目是使用 mergekit 创建的预训练语言模型合并项目。

📚 详细文档

🔍 合并详情

合并方法

本模型采用 Model Stock 合并方法，以 Delta-Vector/Francois-PE-V2-Huali-12B 为基础模型进行合并。

参与合并的模型

以下模型参与了此次合并：

• Delta-Vector/Rei-V3-KTO-12B
• yamatazen/EtherealAurora-12B-v2
• redrix/GodSlayer-12B-ABYSS
• yamatazen/BlueLight-12B

配置信息

以下是用于生成此模型的 YAML 配置：

base_model: Delta-Vector/Francois-PE-V2-Huali-12B
models:
  - model: Delta-Vector/Rei-V3-KTO-12B
  - model: redrix/GodSlayer-12B-ABYSS
  - model: yamatazen/BlueLight-12B
  - model: yamatazen/EtherealAurora-12B-v2  
merge_method: model_stock
dtype: bfloat16
parameters:
  normalize: true

🔖 模型信息表格