Nemomix Unleashed 12B

🚀 NemoMix-Unleashed-12B

このモデルは、mergekitを使用して事前学習された言語モデルをマージしたものです。RPやストーリーテリングに最適で、以前の試行と比べて繰り返しが少なく、高いコンテキストでも良好な性能を発揮します。

🚀 クイックスタート

このモデルの利用に関する基本的な情報をご紹介します。

✨ 主な機能

• 繰り返しが少なく、高いコンテキストでも良好な性能を発揮します。
• RPやストーリーテリングに最適です。

📚 ドキュメント

詳細情報

私は本当に力を尽くしてChatMLのマージを改善しようとしましたが、大失敗に終わりました。皆が異なるIDで特殊トークンを追加しているため、適切なユニオントークナイザーを作成することすらできませんでした。しかも、いくつかのモデルのコンテキスト長に関して、面白い発見もしました。詳細はこちらで確認できます: https://www.captiongenerator.com/v/2303039/marinaraspaghetti's-merging-experience。

今回の試行は以前のものと少し異なり、繰り返しが少なく、特に高いコンテキストでの性能が良く、私にとっては素晴らしい結果です！おそらくさらに改善していくでしょうが、現時点ではとても満足しています。RPやストーリーテリングに最適です。素晴らしいモデルを提供してくれたMistralAI、Intervitens、Sao10K、Nbeerbowerに感謝します！また、アイデアを提供してくれたParasitic Rogueや、以前のマージのクールなexl2量子化を行ってくれたProdeus UnityとStatuoにも特別な感謝を送ります。Drummerのサーバーの皆さん、乾杯！皆さんも良い一日を過ごしてください。

命令形式

残念ながら、Mistral Instructです。

更新: 私たちはずっと間違った形式を使っていました。公式のMistralAIチームメンバーから正しい形式を教えてもらいました。

...これで私が知っていることすべてを疑問視することになりました。

<s>[INST]{system}[/INST]{response}</s>[INST]{user's message}[/INST]{response}</s>

パラメータ

温度を1.0 - 1.25、Top Aを0.1またはMin Pを0.01 - 0.1、DRYを0.8/1.75/2/0で実行することをおすすめします。温度を1.0未満に設定することもできます。それ以上の設定は必要ありません。

設定

私の正確な設定はこちらから使用できます（Mistral Base/Customizedフォルダのものを使用し、Mistral Improvedフォルダも確認することをおすすめします）: https://huggingface.co/MarinaraSpaghetti/SillyTavern-Settings/tree/main。

GGUF

https://huggingface.co/bartowski/NemoMix-Unleashed-12B-GGUF

EXL2

https://huggingface.co/Statuo/NemoMix-Unleashed-EXL2-8bpw

🔧 技術詳細

マージ詳細

マージ方法

このモデルは、E:\mergekit\mistralaiMistral-Nemo-Base-2407をベースとして、della_linearマージ方法を使用してマージされました。

マージされたモデル

以下のモデルがマージに含まれています:

• E:\mergekit\intervitens_mini-magnum-12b-v1.1
• E:\mergekit\nbeerbower_mistral-nemo-bophades-12B
• E:\mergekit\Sao10K_MN-12B-Lyra-v1
• E:\mergekit\nbeerbower_mistral-nemo-gutenberg-12B
• E:\mergekit\mistralaiMistral-Nemo-Instruct-2407

設定

このモデルを作成するために使用されたYAML設定は次のとおりです:

models:
  - model: E:\mergekit\mistralaiMistral-Nemo-Instruct-2407
    parameters:
      weight: 0.1
      density: 0.4
  - model: E:\mergekit\nbeerbower_mistral-nemo-bophades-12B
    parameters:
      weight: 0.12
      density: 0.5
  - model: E:\mergekit\nbeerbower_mistral-nemo-gutenberg-12B
    parameters:
      weight: 0.2
      density: 0.6
  - model: E:\mergekit\Sao10K_MN-12B-Lyra-v1
    parameters:
      weight: 0.25
      density: 0.7
  - model: E:\mergekit\intervitens_mini-magnum-12b-v1.1
    parameters:
      weight: 0.33
      density: 0.8
merge_method: della_linear
base_model: E:\mergekit\mistralaiMistral-Nemo-Base-2407
parameters:
  epsilon: 0.05
  lambda: 1
dtype: bfloat16
tokenizer_source: base

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。

Ko-fi

私の活動を気に入っていただけたら、こちらから寄付をご検討いただけると幸いです！ありがとうございます。

https://ko-fi.com/spicy_marinara