QwQ-DeepSeek-R1-SkyT1-Flash-Lightest-32Bオープンソースモデル - 優位性を融合してアプリケーションのパフォーマンスを向上させる

ホーム

Qwq DeepSeek R1 SkyT1 Flash Lightest 32B

sm54によって開発

これはQwen2.5-32Bをベースにした統合モデルで、DeepSeek-R1-Distill-Qwen-32B、QwQ-32B、Sky-T1-32B-Flashの特徴を融合し、性能向上を図っています。

大規模言語モデル

Transformers

#マルチモデル融合 #高精度言語理解 #大規模言語モデル

ダウンロード数 14

リリース時間 : 4/25/2025

モデル概要

このモデルは複数の32Bパラメータ規模の事前学習済み言語モデルを統合することで、テキスト生成と理解能力を最適化し、様々な自然言語処理タスクに適しています。

モデル特徴

マルチモデル融合

Qwen2.5、DeepSeek-R1、QwQ、Sky-T1など複数モデルの長所を組み合わせ、全体的な性能を向上させています。

効率的な推論

統合方法を最適化することで、高い推論効率を維持しています。

モデル能力

テキスト生成

自然言語理解

質問応答システム

テキスト要約

使用事例

自然言語処理

インテリジェントQA

インテリジェントな質問応答システムの構築に使用され、ユーザーからの様々な質問に回答します。

テキスト生成

一貫性と論理性のあるテキストコンテンツを生成し、執筆補助やコンテンツ作成などのシナリオに適しています。

🚀 QwQ-DeepSeek-R1-SkyT1-Flash-Lightest-32B

このモデルは、mergekitを使用して事前学習された言語モデルをマージしたものです。複数の事前学習モデルの長所を統合することで、より高性能な言語モデルを実現します。

🚀 クイックスタート

このモデルはtransformersライブラリを使用して操作できます。以下に基本的な情報を示します。

Property	Details
ベースモデル	Qwen/Qwen2.5-32B、deepseek-ai/DeepSeek-R1-Distill-Qwen-32B、Qwen/QwQ-32B、NovaSky-AI/Sky-T1-32B-Flash
ライブラリ名	transformers
タグ	mergekit、merge

✨ 主な機能

このモデルは、複数の事前学習モデルをマージすることで、各モデルの特性を融合した高性能な言語モデルを提供します。具体的な機能は以下の通りです。

📚 ドキュメント

🔍 マージの詳細

マージ方法

このモデルは、Qwen/Qwen2.5-32Bをベースとして、sceマージ方法を使用してマージされています。

マージされたモデル

以下のモデルがマージに含まれています。

設定

このモデルを生成するために使用されたYAML設定は以下の通りです。

merge_method: sce
base_model: Qwen/Qwen2.5-32B  # Pivot model (zero weight)
dtype: bfloat16
parameters:
  select_topk: 1.0
models:
  # Pivot model (explicitly zero-weighted)
  - model: Qwen/Qwen2.5-32B
    parameters:
      weight: 0.0  # Zero contribution to merged weights
      # sparsity: 0.0  # Optional: enforce sparsity if needed
  # Target models with assigned weights
  - model: Qwen/QwQ-32B
    parameters:
      weight: 0.95  # Dominant contributor
  - model: deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
    parameters:
      weight: 0.01  # Minimal contribution
  - model: NovaSky-AI/Sky-T1-32B-Flash
    parameters:
      weight: 0.04  # Minimal contribution