Qwen2.5 Dyanka 7B Preview

🚀 Qwen2.5-Dyanka-7B-Preview

Qwen2.5-Dyanka-7B-Preview 是一個基於預訓練語言模型合併的模型，使用了 mergekit 工具，在多個文本生成任務中展現出了一定的性能。

🚀 快速開始

此模型是使用 mergekit 對預訓練語言模型進行合併得到的。

✨ 主要特性

合併詳情

合併方法

本模型採用 TIES 合併方法，以 gz987/qwen2.5-7b-cabs-v0.3 為基礎模型進行合併。

合併的模型

以下模型參與了合併：

• rombodawg/Rombos-LLM-V2.5-Qwen-7b
• suayptalha/Clarus-7B-v0.1
• prithivMLmods/WebMind-7B-v0.1
• fblgit/cybertron-v4-qw7B-MGS
• Xiaojian9992024/Qwen2.5-THREADRIPPER-Small

配置

以下是用於生成此模型的 YAML 配置：

models:
  - model: gz987/qwen2.5-7b-cabs-v0.3
    #no parameters necessary for base model
  - model: suayptalha/Clarus-7B-v0.1
    parameters:
      density: 0.2
      weight: 0.2
  - model: Xiaojian9992024/Qwen2.5-THREADRIPPER-Small
    parameters:
      density: 0.2
      weight: 0.2
  - model: rombodawg/Rombos-LLM-V2.5-Qwen-7b
    parameters:
      density: 0.2
      weight: 0.2
  - model: prithivMLmods/WebMind-7B-v0.1
    parameters:
      density: 0.2
      weight: 0.2
  - model: fblgit/cybertron-v4-qw7B-MGS
    parameters:
      density: 0.2
      weight: 0.2
      
merge_method: ties
base_model: gz987/qwen2.5-7b-cabs-v0.3
parameters:
  normalize: false
  int8_mask: true
dtype: bfloat16

Open LLM Leaderboard 評估結果

詳細結果可查看 此處！ 總結結果可查看 此處！

📄 許可證

本模型採用 apache-2.0 許可證。