Qwen2.5 Dyanka 7B Preview

🚀 Qwen2.5-Dyanka-7B-Preview

このモデルは、複数の事前学習言語モデルをmergekitを用いてマージしたもので、テキスト生成タスクにおいて一定の性能を持っています。

🚀 クイックスタート

このモデルは、mergekitを使用して事前学習言語モデルをマージして作成されました。

✨ 主な機能

• 複数の事前学習言語モデルをマージして新しいモデルを作成。
• テキスト生成タスクに対応。

📦 インストール

READMEにインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

READMEにコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

マージの詳細

マージ方法

このモデルは、TIESマージ方法を使用し、gz987/qwen2.5-7b-cabs-v0.3をベースとしてマージされました。

マージされたモデル

以下のモデルがマージに含まれています。

• rombodawg/Rombos-LLM-V2.5-Qwen-7b
• suayptalha/Clarus-7B-v0.1
• prithivMLmods/WebMind-7B-v0.1
• fblgit/cybertron-v4-qw7B-MGS
• Xiaojian9992024/Qwen2.5-THREADRIPPER-Small

設定

このモデルを生成するために使用されたYAML設定は以下の通りです。

models:
  - model: gz987/qwen2.5-7b-cabs-v0.3
    #no parameters necessary for base model
  - model: suayptalha/Clarus-7B-v0.1
    parameters:
      density: 0.2
      weight: 0.2
  - model: Xiaojian9992024/Qwen2.5-THREADRIPPER-Small
    parameters:
      density: 0.2
      weight: 0.2
  - model: rombodawg/Rombos-LLM-V2.5-Qwen-7b
    parameters:
      density: 0.2
      weight: 0.2
  - model: prithivMLmods/WebMind-7B-v0.1
    parameters:
      density: 0.2
      weight: 0.2
  - model: fblgit/cybertron-v4-qw7B-MGS
    parameters:
      density: 0.2
      weight: 0.2
      
merge_method: ties
base_model: gz987/qwen2.5-7b-cabs-v0.3
parameters:
  normalize: false
  int8_mask: true
dtype: bfloat16

Open LLM Leaderboardの評価結果

詳細な結果はこちらで確認できます。 要約された結果はこちらで確認できます。

モデル情報

🔧 技術詳細

READMEに技術的な詳細説明が記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルはapache-2.0ライセンスの下で提供されています。