Dazzling Star Aurora 32b V0.0 Experimental 1130

🚀 Dazzling-Star-Aurora-32b-v0.0

「もし、あのむやみに漂う空のどこかに、私たちの願いが自由に流れることができる惑星があったとしたら……私たちはそこへ行こうとするでしょうか？ もし行ったら、私たちは何を願うでしょう……」

YouTubeでこの曲を聴く: https://www.youtube.com/watch?v=e1EExQiRhC0

このモデルの背景: 真夜中に退屈していて、モデルのマージを作ることにしました。結果としてこのモデルが生まれました。私はこのモデルが好きなので、是非試してみてください。

使用したモデル:

• EVA-UNIT-01/EVA-Qwen2.5-32B-v0.2
• ArliAI/Qwen2.5-32B-ArliAI-RPMax-v1.3
• Qwen/Qwen2.5-32B

🚀 クイックスタート

指示書式

指示書式はChatMLです。

AuriAetherwiingがコンピューティングリソースを提供し、モデルのマージを支援してくれたことに感謝します。

✨ 主な機能

このモデルは、複数のモデルをマージして作成されており、独自の特性を持っています。

📚 ドキュメント

マージの詳細

マージ方法

このモデルは、TIESマージ方法を使用し、Qwen_Qwen2.5-32Bをベースにマージされました。

マージされたモデル

以下のモデルがマージに含まれています:

• ArliAI/Qwen2.5-32B-ArliAI-RPMax-v1.3
• EVA-UNIT-01/EVA-Qwen2.5-32B-v0.2

設定

このモデルを生成するために使用されたYAML設定は次のとおりです:

models:
  - model: EVA-UNIT-01/EVA-Qwen2.5-32B-v0.2
    parameters:
      weight: 0.3
      density: 0.7
  - model: ArliAI/Qwen2.5-32B-ArliAI-RPMax-v1.3
    parameters:
      weight: 0.4
      density: 0.8
base_model: Qwen/Qwen2.5-32B
parameters:
  epsilon: 0.05
  lambda: 1
  int8_mask: true
  normalize: true
merge_method: ties
dtype: bfloat16