Magnamellrei V1 12B

🚀 MagnaMellRei-v1-12B

MagnaMellRei-v1-12B是一個使用mergekit合併預訓練語言模型得到的模型，可用於文本生成。

🚀 快速開始

本模型基於transformers庫，你可以使用以下代碼快速加載模型進行文本生成：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "your_model_path"  # 替換為實際的模型路徑
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

input_text = "你的輸入文本"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids
output = model.generate(input_ids)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

✨ 主要特性

• 使用mergekit工具進行模型合併。
• 採用SLERP合併方法。

📦 安裝指南

如果你要使用本模型，需要安裝transformers庫：

pip install transformers

📚 詳細文檔

合併詳情

合併方法

本模型使用SLERP合併方法進行合併。

合併的模型

合併過程中包含以下模型：

• grimjim/MagnaRei-v2-12B
• inflatebot/MN-12B-Mag-Mell-R1

配置

以下是用於生成此模型的YAML配置：

models:
  - model: grimjim/MagnaRei-v2-12B
  - model: inflatebot/MN-12B-Mag-Mell-R1
merge_method: slerp
base_model: grimjim/MagnaRei-v2-12B
parameters:
  t:
   - value: 0.5
dtype: bfloat16

📄 許可證

本模型採用apache-2.0許可證。