Qwen2.5 Dyanka 7B Preview

🚀 Qwen2.5-Dyanka-7B-Preview

Qwen2.5-Dyanka-7B-Preview 是一个基于预训练语言模型合并的模型，使用了 mergekit 工具，在多个文本生成任务中展现出了一定的性能。

🚀 快速开始

此模型是使用 mergekit 对预训练语言模型进行合并得到的。

✨ 主要特性

合并详情

合并方法

本模型采用 TIES 合并方法，以 gz987/qwen2.5-7b-cabs-v0.3 为基础模型进行合并。

合并的模型

以下模型参与了合并：

• rombodawg/Rombos-LLM-V2.5-Qwen-7b
• suayptalha/Clarus-7B-v0.1
• prithivMLmods/WebMind-7B-v0.1
• fblgit/cybertron-v4-qw7B-MGS
• Xiaojian9992024/Qwen2.5-THREADRIPPER-Small

配置

以下是用于生成此模型的 YAML 配置：

models:
  - model: gz987/qwen2.5-7b-cabs-v0.3
    #no parameters necessary for base model
  - model: suayptalha/Clarus-7B-v0.1
    parameters:
      density: 0.2
      weight: 0.2
  - model: Xiaojian9992024/Qwen2.5-THREADRIPPER-Small
    parameters:
      density: 0.2
      weight: 0.2
  - model: rombodawg/Rombos-LLM-V2.5-Qwen-7b
    parameters:
      density: 0.2
      weight: 0.2
  - model: prithivMLmods/WebMind-7B-v0.1
    parameters:
      density: 0.2
      weight: 0.2
  - model: fblgit/cybertron-v4-qw7B-MGS
    parameters:
      density: 0.2
      weight: 0.2
      
merge_method: ties
base_model: gz987/qwen2.5-7b-cabs-v0.3
parameters:
  normalize: false
  int8_mask: true
dtype: bfloat16

Open LLM Leaderboard 评估结果

详细结果可查看 此处！ 总结结果可查看 此处！

📄 许可证

本模型采用 apache-2.0 许可证。