Magnolia V3 Gemma2 8k 9B

🚀 Magnolia-v3-Gemma2-8k-9B

Magnolia-v3-Gemma2-8k-9B是使用mergekit合併預訓練語言模型而創建的模型，為文本生成提供了新的解決方案。

🚀 快速開始

本項目基於transformers庫，可用於文本生成任務。

✨ 主要特性

• 採用預訓練語言模型合併技術，結合了多個模型的優勢。
• 使用SLERP合併方法，優化模型性能。

📚 詳細文檔

🔍 合併詳情

合併方法

本模型採用SLERP合併方法進行合併。

合併的模型

以下模型參與了合併：

• grimjim/Gigantes-v1-gemma2-9b-it
• grimjim/Magnolia-v2-Gemma2-8k-9B

配置

以下是用於生成此模型的YAML配置：

models:
  - model: grimjim/Magnolia-v2-Gemma2-8k-9B
  - model: grimjim/Gigantes-v1-gemma2-9b-it
merge_method: slerp
base_model: grimjim/Magnolia-v2-Gemma2-8k-9B
parameters:
  t:
   - value: 0.001
dtype: bfloat16

📄 許可證

本項目採用gemma許可證。