Qwen2.5 14B DeepSeek R1 1M Uncensored

🚀 モデルマージプロジェクト

このプロジェクトは、事前学習された言語モデルをマージするもので、mergekitを使用して作成されています。

🚀 クイックスタート

このマージプロジェクトは、事前学習された言語モデルを融合することで新しいモデルを生成します。以下に詳細を説明します。

✨ 主な機能

• 複数の事前学習モデルをマージして新しいモデルを作成することができます。
• TIESマージ方法を用いて、効果的なモデルマージを実現します。

📚 ドキュメント

🔍 マージ詳細

マージ方法

このモデルは、mkurman/Qwen2.5-14B-DeepSeek-R1-1Mをベースとして、TIESマージ方法を使用してマージされています。

マージされたモデル

以下のモデルがマージに含まれています。

• huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2

設定

以下のYAML設定を使用してこのモデルが生成されています。

models:
  - model: "huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2"
    parameters:
      weight: 1
      density: 1

merge_method: ties
base_model: "mkurman/Qwen2.5-14B-DeepSeek-R1-1M"
parameters:
  density: 1
  normalize: true
  int8_mask: true
dtype: bfloat16

🔧 モデル情報