MT Gemma 3 12B

🚀 模型合并项目

本项目是使用 mergekit 对预训练语言模型进行合并的成果。它解决了单一模型在某些场景下性能不足的问题，通过合并多个模型的优势，为用户提供更强大、更全面的语言处理能力。

🚀 快速开始

本项目是使用 mergekit 对预训练语言模型进行的合并。

📚 详细文档

合并详情

合并方法

本模型采用 DARE TIES 合并方法，以 soob3123/amoral-gemma3-12B-v2 为基础进行合并。

参与合并的模型

以下模型参与了合并：

• IlyaGusev/saiga_gemma3_12b

配置信息

以下 YAML 配置用于生成此模型：

models:
  - model: soob3123/amoral-gemma3-12B-v2
    #no parameters necessary for base model
  - model: IlyaGusev/saiga_gemma3_12b
    parameters:
      density: 0.5
      weight: 0.5

merge_method: dare_ties
base_model: soob3123/amoral-gemma3-12B-v2
parameters:
  normalize: true
dtype: bfloat16

📄 许可证

本项目使用 gemma 许可证。

📦 模型信息