MN-Nyx-Chthonia-12Bオープンソース言語モデル - 7つのモデルを融合して総合的な応用能力を向上させる

ホーム

MN Nyx Chthonia 12B

mergekit-communityによって開発

これは複数の12Bパラメータ規模モデルを統合したバージョンで、model_stockメソッドを用いて7つの異なる特性を持つ事前学習済み言語モデルを融合し、総合能力を強化しています。

大規模言語モデル

Transformers

#マルチモデル融合 #命令微調整最適化 #心理学推論強化

ダウンロード数 31

リリース時間 : 4/25/2025

モデル概要

このモデルは、専門分野の複数の12Bパラメータモデルを統合することで、推論、創作、心理分析などのタスクにおけるパフォーマンス向上を目指しており、特に命令追従能力を最適化しています。

モデル特徴

マルチモデル知識融合

Gutenberg文学、心理学推論、クリエイティブライティングなど異なる専門分野のモデル強みを統合

命令最適化

Mistral-Nemo-Instructをベースモデルとして、命令理解と実行能力を強化

重み付け融合戦略

主要コンポーネントモデル（EtherealAuroraや推論LoRAなど）に対して差異化された重み設定を採用

モデル能力

長文生成

マルチターン対話

論理的推論

クリエイティブライティング

心理分析

命令理解

使用事例

創作支援

ストーリー創作

文学的な長編ナラティブテキストを生成

GutenbergとLyraモデルの文学スタイルを組み合わせ

専門分析

心理評価

テキスト中の心理的特徴と認知パターンを分析

専門的な心理学推論LoRAの能力を統合

🚀 モデルマージ

これは、mergekit を使用して作成された事前学習済み言語モデルのマージです。

ベースモデル

モデル名	詳細
base_model	DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS、mistralai/Mistral-Nemo-Base-2407、mistralai/Mistral-Nemo-Instruct-2407、redrix/sororicide-12B-Farer-Mell-Unslop、mergekit-community/MN-Chthonia-12B、yamatazen/EtherealAurora-12B-v2、mergekit-community/MN-Anathema-12B、mergekit-community/MN-Ephemeros-12B、jtatman/mistral_nemo_12b_reasoning_psychology_lora
library_name	transformers
tags	mergekit、merge

🚀 クイックスタート

このモデルは、事前学習済み言語モデルをマージすることで作成されています。以下にマージの詳細を示します。

📚 ドキュメント

✨ マージの詳細

🔧 マージ方法

このモデルは、Model Stock マージ方法を使用して、mistralai/Mistral-Nemo-Instruct-2407 をベースにマージされました。

📦 マージされたモデル

以下のモデルがマージに含まれています。

⚙️ 設定

このモデルを作成するために使用されたYAML設定は次の通りです。

dtype: float32
out_dtype: bfloat16
merge_method: model_stock
base_model: mistralai/Mistral-Nemo-Instruct-2407
models:
  - model: DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS
  - model: mergekit-community/MN-Anathema-12B
  - model: mergekit-community/MN-Chthonia-12B
  - model: mergekit-community/MN-Ephemeros-12B+jtatman/mistral_nemo_12b_reasoning_psychology_lora
    parameters:
      weight: 0.7
  - model: mistralai/Mistral-Nemo-Base-2407
    parameters:
      weight: 0.5
  - model: redrix/sororicide-12B-Farer-Mell-Unslop
  - model: yamatazen/EtherealAurora-12B-v2
    parameters:
      weight: 1.4

tokenizer:
  source: union
  tokens:
    "<|im_start|>":
      source: yamatazen/EtherealAurora-12B-v2
    "<|im_end|>":
      source: yamatazen/EtherealAurora-12B-v2
    "[INST]":
      source: mistralai/Mistral-Nemo-Instruct-2407
    "[/INST]":
      source: mistralai/Mistral-Nemo-Instruct-2407
      
chat_template: chatml