Qwen2.5 14B It Restore

🚀 Qwen2.5-14B モデルマージ

このプロジェクトでは、della、ties、model stock の3つの方法を組み合わせて、命令モデルとベースモデルをマージします。目的は、tiesマージ方法またはdellaマージ方法のみを使用することによって引き起こされる命令追従能力の低下と数学的能力の低下の問題を解決することです。

🚀 クイックスタート

このモデルマージの方法を紹介します。以下に、各マージ方法のコード例を示します。

💻 使用例

基本的な使用法

dellaマージ方法

models:
  - model: Qwen/Qwen2.5-14B-instruct
    parameters:
      density: 1 
      weight: 1
      lambda: 0.9
merge_method: della
base_model: Qwen/Qwen2.5-14B
parameters:
  density: 1
  weight: 1
  lambda: 0.9
  normalize: true
  int8_mask: true
dtype: bfloat16
name: Qwen2.5-14B-della

tiesマージ方法

models:
  - model: Qwen/Qwen2.5-14B-instruct
    parameters:
      density: 1 
      weight: 1
merge_method: ties
base_model: Qwen/Qwen2.5-14B
parameters:
  density: 1
  weight: 1
  normalize: true
  int8_mask: true
dtype: bfloat16
name: Qwen2.5-14B-ties

model stockマージ方法

merge_method: model_stock
base_model: Qwen/Qwen2.5-14B-instruct
models:
  - model: Qwen2.5-14B-della
  - model: Qwen2.5-14B-ties
dtype: bfloat16
tokenizer_source: base
int8_mask: true
normalize: true
name: Qwen2.5-14B-it-restore

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。

📚 ドキュメント

モデル情報

モデル画像