Reasoning SCE Coder V1.0

🚀 モデルマージプロジェクト

このプロジェクトは、事前学習された言語モデルをマージすることで新しいモデルを作成するものです。mergekit を使用してモデルのマージを行っています。

🚀 クイックスタート

このマージされたモデルは、事前学習された複数の言語モデルを組み合わせることで作成されています。以下にマージの詳細を説明します。

✨ 主な機能

• 複数の事前学習モデルをマージして新しいモデルを作成します。
• SCE マージ方法を用いて、適応的な重み付けを行います。

📚 ドキュメント

マージの詳細

マージ方法

このモデルは、Rombo-Org/Rombo-LLM-V3.1-QWQ-32b をベースとして、SCE マージ方法を使用してマージされています。

マージされたモデル

以下のモデルがマージに含まれています。

• FuseAI/FuseO1-DeepSeekR1-QwQ-SkyT1-Flash-32B-Preview
• FuseAI/FuseO1-DeepSeekR1-QwQ-SkyT1-32B-Preview
• FuseAI/FuseO1-DeepSeekR1-Qwen2.5-Coder-32B-Preview

設定

このモデルを作成するために使用されたYAML設定は以下の通りです。

models:
  - model: FuseAI/FuseO1-DeepSeekR1-QwQ-SkyT1-32B-Preview
    parameters:
      weight: 1.2      # Slightly favor
      density: 0.9     # Sparsified a bit to reduce noise
  - model: FuseAI/FuseO1-DeepSeekR1-Qwen2.5-Coder-32B-Preview
    parameters:
      weight: 1
      density: 0.9
  - model: FuseAI/FuseO1-DeepSeekR1-QwQ-SkyT1-Flash-32B-Preview
    parameters:
      weight: 1
      density: 0.9
merge_method: sce         # SCE for adaptive weighting
base_model: Rombo-Org/Rombo-LLM-V3.1-QWQ-32b
parameters:
  normalize: true
  int8_mask: true
  select_topk: 0.1        # Retain the top 10% high-variance elements
tokenizer_source: union    # Union to combine vocabularies
dtype: bfloat16

情報一覧