Qwen2.5 7B YOYO Super

🚀 Qwen2.5 模型合并方案

本项目旨在通过一个基础模型和两个微调模型实现最优的合并模型，为模型合并提供了有效的解决方案，推动了开源社区模型合并技术的发展。

🚀 快速开始

本项目提供了两代模型合并公式，帮助你实现模型的有效合并。

上一代模型合并公式

上一代模型合并公式在之前的模型合并过程中被广泛使用，但存在一些不足，例如对基础模型知识的保留较少，数学和编码能力有所下降。

models:  
  - model: Qwen/Qwen2.5-7B-Instruct  
    parameters:  
      density: 1  
      weight: 1  
      lambda: 0.9
  - model: Qwen/Qwen2.5-7B-Instruct-1M  
    parameters:  
      density: 1  
      weight: 1  
      lambda: 0.9  
merge_method: della  
base_model: Qwen/Qwen2.5-7B  
parameters:  
  density: 1  
  weight: 1  
  lambda: 0.9  
  normalize: true  
  int8_mask: true  
dtype: bfloat16  
tokenizer_source: base

新一代模型合并公式

新一代模型合并公式在除指令遵循能力略有下降外，其他方面均取得了显著改进，并且该公式将应用于下一代 YOYO 模型的开发。

models:
  - model: Qwen/Qwen2.5-7B-instruct
    parameters:
      density: 1 
      weight: 1
      lambda: 0.9
merge_method: della
base_model: Qwen/Qwen2.5-7B
parameters:
  density: 1
  weight: 1
  lambda: 0.9
  normalize: true
  int8_mask: true
dtype: float16
tokenizer_source: base
name: Qwen2.5-7B-della

models:
  - model: Qwen/Qwen2.5-7B-instruct-1M
    parameters:
      density: 1 
      weight: 1
      lambda: 0.9
merge_method: della
base_model: Qwen/Qwen2.5-7B
parameters:
  density: 1
  weight: 1
  lambda: 0.9
  normalize: true
  int8_mask: true
dtype: float16
tokenizer_source: base
name: Qwen2.5-7B-della-1M

models:
  - model: Qwen/Qwen2.5-7B-instruct
    parameters:
      density: 1 
      weight: 1
merge_method: ties
base_model: Qwen/Qwen2.5-7B
parameters:
  density: 1
  weight: 1
  normalize: true
  int8_mask: true
dtype: float16
tokenizer_source: base
name: Qwen2.5-7B-ties

models:
  - model: Qwen/Qwen2.5-7B-instruct-1M
    parameters:
      density: 1 
      weight: 1
merge_method: ties
base_model: Qwen/Qwen2.5-7B
parameters:
  density: 1
  weight: 1
  normalize: true
  int8_mask: true
dtype: float16
tokenizer_source: base
name: Qwen2.5-7B-ties-1M

merge_method: model_stock
base_model: Qwen/Qwen2.5-7B
models:
  - model: mergekit-community/Qwen2.5-7B-della
  - model: mergekit-community/Qwen2.5-7B-della-1M
  - model: mergekit-community/Qwen2.5-7B-ties
  - model: mergekit-community/Qwen2.5-7B-ties-1M
  - model: Qwen/Qwen2.5-7B-instruct-1M
  - model: Qwen/Qwen2.5-7B-instruct
tokenizer_source: base
int8_mask: true
normalize: true
dtype: float16

📄 许可证

本项目采用 apache-2.0 许可证。

🔗 相关链接

• Qwen2.5-7B-YOYO-super
• Qwen2.5-14B-YOYO-super

🤝 支持与贡献

如果你在模型合并时能使用本项目提供的公式，这将是对 YOYO - AI 最大的支持！YOYO - AI 不仅发布了性能出色的合并模型，还公布了完整且高质量的模型合并公式，希望以此推动开源社区模型合并技术的进步。