Qwen2.5 14B It Restore

🚀 Qwen2.5-14B模型合併方案

本項目結合了 della、ties 和 model stock 三種方法，將指令模型與基礎模型進行合併。旨在解決僅使用 ties 合併方法或僅使用 della 合併方法導致的 指令遵循能力下降 和 數學能力下降 的問題。

🚀 快速開始

合併方法介紹

本項目使用了三種合併方法，以下是具體的配置示例：

della 合併方法

models:
  - model: Qwen/Qwen2.5-14B-instruct
    parameters:
      density: 1 
      weight: 1
      lambda: 0.9
merge_method: della
base_model: Qwen/Qwen2.5-14B
parameters:
  density: 1
  weight: 1
  lambda: 0.9
  normalize: true
  int8_mask: true
dtype: bfloat16
name: Qwen2.5-14B-della

ties 合併方法

models:
  - model: Qwen/Qwen2.5-14B-instruct
    parameters:
      density: 1 
      weight: 1
merge_method: ties
base_model: Qwen/Qwen2.5-14B
parameters:
  density: 1
  weight: 1
  normalize: true
  int8_mask: true
dtype: bfloat16
name: Qwen2.5-14B-ties

model stock 合併方法

merge_method: model_stock
base_model: Qwen/Qwen2.5-14B-instruct
models:
  - model: Qwen2.5-14B-della
  - model: Qwen2.5-14B-ties
dtype: bfloat16
tokenizer_source: base
int8_mask: true
normalize: true
name: Qwen2.5-14B-it-restore

📄 許可證

本項目採用 Apache-2.0 許可證。

📚 詳細文檔

模型信息