Qwen2.5 7B YOYO Super

🚀 Qwen2.5 模型合併方案

本項目旨在通過一個基礎模型和兩個微調模型實現最優的合併模型，為模型合併提供了有效的解決方案，推動了開源社區模型合併技術的發展。

🚀 快速開始

本項目提供了兩代模型合併公式，幫助你實現模型的有效合併。

上一代模型合併公式

上一代模型合併公式在之前的模型合併過程中被廣泛使用，但存在一些不足，例如對基礎模型知識的保留較少，數學和編碼能力有所下降。

models:  
  - model: Qwen/Qwen2.5-7B-Instruct  
    parameters:  
      density: 1  
      weight: 1  
      lambda: 0.9
  - model: Qwen/Qwen2.5-7B-Instruct-1M  
    parameters:  
      density: 1  
      weight: 1  
      lambda: 0.9  
merge_method: della  
base_model: Qwen/Qwen2.5-7B  
parameters:  
  density: 1  
  weight: 1  
  lambda: 0.9  
  normalize: true  
  int8_mask: true  
dtype: bfloat16  
tokenizer_source: base

新一代模型合併公式

新一代模型合併公式在除指令遵循能力略有下降外，其他方面均取得了顯著改進，並且該公式將應用於下一代 YOYO 模型的開發。

models:
  - model: Qwen/Qwen2.5-7B-instruct
    parameters:
      density: 1 
      weight: 1
      lambda: 0.9
merge_method: della
base_model: Qwen/Qwen2.5-7B
parameters:
  density: 1
  weight: 1
  lambda: 0.9
  normalize: true
  int8_mask: true
dtype: float16
tokenizer_source: base
name: Qwen2.5-7B-della

models:
  - model: Qwen/Qwen2.5-7B-instruct-1M
    parameters:
      density: 1 
      weight: 1
      lambda: 0.9
merge_method: della
base_model: Qwen/Qwen2.5-7B
parameters:
  density: 1
  weight: 1
  lambda: 0.9
  normalize: true
  int8_mask: true
dtype: float16
tokenizer_source: base
name: Qwen2.5-7B-della-1M

models:
  - model: Qwen/Qwen2.5-7B-instruct
    parameters:
      density: 1 
      weight: 1
merge_method: ties
base_model: Qwen/Qwen2.5-7B
parameters:
  density: 1
  weight: 1
  normalize: true
  int8_mask: true
dtype: float16
tokenizer_source: base
name: Qwen2.5-7B-ties

models:
  - model: Qwen/Qwen2.5-7B-instruct-1M
    parameters:
      density: 1 
      weight: 1
merge_method: ties
base_model: Qwen/Qwen2.5-7B
parameters:
  density: 1
  weight: 1
  normalize: true
  int8_mask: true
dtype: float16
tokenizer_source: base
name: Qwen2.5-7B-ties-1M

merge_method: model_stock
base_model: Qwen/Qwen2.5-7B
models:
  - model: mergekit-community/Qwen2.5-7B-della
  - model: mergekit-community/Qwen2.5-7B-della-1M
  - model: mergekit-community/Qwen2.5-7B-ties
  - model: mergekit-community/Qwen2.5-7B-ties-1M
  - model: Qwen/Qwen2.5-7B-instruct-1M
  - model: Qwen/Qwen2.5-7B-instruct
tokenizer_source: base
int8_mask: true
normalize: true
dtype: float16

📄 許可證

本項目採用 apache-2.0 許可證。

🔗 相關鏈接

• Qwen2.5-7B-YOYO-super
• Qwen2.5-14B-YOYO-super

🤝 支持與貢獻

如果你在模型合併時能使用本項目提供的公式，這將是對 YOYO - AI 最大的支持！YOYO - AI 不僅發佈了性能出色的合併模型，還公佈了完整且高質量的模型合併公式，希望以此推動開源社區模型合併技術的進步。