Magnolia V3 Gemma2 8k 9B

🚀 Magnolia-v3-Gemma2-8k-9B

Magnolia-v3-Gemma2-8k-9B是使用mergekit合并预训练语言模型而创建的模型，为文本生成提供了新的解决方案。

🚀 快速开始

本项目基于transformers库，可用于文本生成任务。

✨ 主要特性

• 采用预训练语言模型合并技术，结合了多个模型的优势。
• 使用SLERP合并方法，优化模型性能。

📚 详细文档

🔍 合并详情

合并方法

本模型采用SLERP合并方法进行合并。

合并的模型

以下模型参与了合并：

• grimjim/Gigantes-v1-gemma2-9b-it
• grimjim/Magnolia-v2-Gemma2-8k-9B

配置

以下是用于生成此模型的YAML配置：

models:
  - model: grimjim/Magnolia-v2-Gemma2-8k-9B
  - model: grimjim/Gigantes-v1-gemma2-9b-it
merge_method: slerp
base_model: grimjim/Magnolia-v2-Gemma2-8k-9B
parameters:
  t:
   - value: 0.001
dtype: bfloat16

📄 许可证

本项目采用gemma许可证。