Qwen2.5 14B DeepSeek R1 1M Uncensored

🚀 預訓練語言模型合併項目

本項目是使用預訓練語言模型進行合併的成果，藉助 mergekit 工具完成，旨在整合不同模型的優勢，提升模型性能和應用範圍。

🚀 快速開始

項目基礎信息

✨ 主要特性

本項目通過合併多個預訓練語言模型，充分發揮不同模型的優勢，為自然語言處理任務提供更強大、更靈活的解決方案。

📚 詳細文檔

合併詳情

合併方法

本模型採用 TIES 合併方法，以 mkurman/Qwen2.5-14B-DeepSeek-R1-1M 為基礎模型進行合併。

參與合併的模型

以下模型參與了合併：

• huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2

配置信息

以下是用於生成此模型的 YAML 配置：

models:
  - model: "huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2"
    parameters:
      weight: 1
      density: 1

merge_method: ties
base_model: "mkurman/Qwen2.5-14B-DeepSeek-R1-1M"
parameters:
  density: 1
  normalize: true
  int8_mask: true
dtype: bfloat16