Stellar Odyssey 12b V0.0

🚀 スターライト・オデッセイ12b v0.0

これはモデルマージプロジェクトで、複数の基礎モデルをマージすることで新しいモデルを作成します。ロールプレイングシーンに適しており、ChatML指令形式を採用しています。

🚀 クイックスタート

テーマ曲を聴く：Youtubeで聴く

これは私がモデルマージを試みる2回目です。今回のマージには以下のモデルを使用しました：

• mistralai/Mistral-Nemo-Base-2407
• Sao10K/MN-12B-Lyra-v4
• nothingiisreal/MN-12B-Starcannon-v2
• Gryphe/Pantheon-RP-1.5-12b-Nemo

想定ユースケース：ロールプレイング 指令形式：ChatML

AuriAetherwiingがモデルマージを手伝ってくれたことに感謝します。

✨ 主な機能

データ関連

これは回答しにくい質問です。私はモデル自体にデータを追加していません。このモデルは他のモデルをマージした結果であり、他のモデルが使用したデータがこのモデルにも適用されますが、完全に同じではありません。

ライセンス

このモデルはcc - by - nc - 4.0ライセンスを採用しています。ただし、私に連絡して商用サービスに使用するための明確な許可を得た場合を除きます。私は以下のいずれかのグループとの協力依頼を受け付けません：

• Infermatic AI
• “AI女友”アプリケーションまたは孤独感を利用して顧客を引き付けるアプリケーション。
• 身元と運営者を明かさない個人または組織（機密保持契約を締結した場合でも）。
• 略奪的または他人を搾取するサービス。

私はFeatherless.AI/Recursal、ArliAI、WyvernChatのみにモデルのホスティングを許可しています。

📚 ドキュメント

マージの詳細

このモデルはdella_linearマージ方法を使用し、mistralai/Mistral-Nemo-Base-2407をベースにマージしています。

マージされたモデル

以下のモデルがマージに参加しました：

• Sao10K/MN-12B-Lyra-v4
• Gryphe/Pantheon-RP-1.5-12b-Nemo
• nothingiisreal/MN-12B-Starcannon-v2

設定

以下のYAML設定を使用してこのモデルを生成しました：

models:
  - model: C:\Users\\Downloads\Mergekit-Fixed\mergekit\Sao10K_MN-12B-Lyra-v4
    parameters:
      weight: 0.3
      density: 0.25
  - model: C:\Users\\Downloads\Mergekit-Fixed\mergekit\nothingiisreal_MN-12B-Starcannon-v2
    parameters:
      weight: 0.1
      density: 0.4
  - model: C:\Users\\Downloads\Mergekit-Fixed\mergekit\Gryphe_Pantheon-RP-1.5-12b-Nemo
    parameters:
      weight: 0.4
      density: 0.5
merge_method: della_linear
base_model: C:\Users\\Downloads\Mergekit-Fixed\mergekit\mistralai_Mistral-Nemo-Base-2407
parameters:
  epsilon: 0.05
  lambda: 1
merge_method: della_linear
dtype: bfloat16

注意事項

• Della_Linear：https://arxiv.org/abs/2406.11617とhttps://arxiv.org/abs/2212.04089を参照してください。Della_Linearが何であるかを説明するのはかなり長いためです。
• BFloat16：Brain Floating Point 16、Nvidia GPU上でモデルをより高速に実行する方法です。
• Density：基礎モデルとの差分重みを保持する割合です。
• Epsilon：振幅ベースのドロップアウト確率の最大変化です。割り当てられるドロップアウト確率の範囲は...