Mwm 7B CoT Merge1

🚀 預訓練語言模型合併項目

本項目是使用預訓練語言模型合併技術，藉助 mergekit 工具創建的模型合併成果。它將多個優秀的預訓練語言模型融合在一起，旨在提升模型的性能和適用性。

🚀 快速開始

本項目是使用 mergekit 對預訓練語言模型進行的合併。

✨ 主要特性

• 多模型融合：將多個預訓練語言模型的優勢結合，可能帶來更強大的語言理解和生成能力。
• 特定合併方法：採用 Model Stock 合併方法，以 huihui-ai/Qwen2.5-7B-Instruct-1M-abliterated 為基礎模型進行合併。

📚 詳細文檔

合併詳情

合併方法

本模型使用 Model Stock 合併方法，以 huihui-ai/Qwen2.5-7B-Instruct-1M-abliterated 作為基礎模型進行合併。

參與合併的模型

以下模型參與了合併：

• thirdeyeai/marco-o1-uncensored
• huihui-ai/Marco-o1-abliterated
• huihui-ai/UwU-7B-Instruct-abliterated

配置

以下是用於生成此模型的 YAML 配置：

models:
  - model: thirdeyeai/marco-o1-uncensored
  - model: huihui-ai/UwU-7B-Instruct-abliterated
  - model: huihui-ai/Marco-o1-abliterated
merge_method: model_stock
base_model: huihui-ai/Qwen2.5-7B-Instruct-1M-abliterated
normalize: false
int8_mask: true
dtype: bfloat16