Starcannon Unleashed 12B V1.0

🚀 Starcannon-Unleashed-12B-v1.0-GGUF

このモデルは、2つの事前学習言語モデルをマージしたものです。それぞれのモデルの長所を生かし、互いの弱点を補完することを目指しています。

🚀 クイックスタート

ChatMLとMistralの両方が正常に動作するはずです。個人的にはChatMLを使用してテストしました。この形式を使用すると、モデルの応答がより好きになりました。どちらが最適かをテストして確認してみてください。

推奨設定はこちら：Starcannon-Unleashed-12B-v1.0-ST-Formatting-2024-10-29.json

⚠️ 重要提示

Silly Tavernを開き、「A」タブ（高度な書式設定）の下にある「マスターインポート」を使用してください。「INSERT WORLD HERE」のプレースホルダーを、キャラクターが属する世界/宇宙に置き換えてください。該当しない場合は、その部分を削除してください。

ユーザー設定を確認し、「Example Messages Behavior」を「Never include examples」に設定して、対話の例がコンテキスト内で2回送信されるのを防いでください。設定しないと、<|im_end|>トークンが出力されると報告されています。詳細はこの投稿を参照してください。

✨ 主な機能

• それぞれの事前学習言語モデルの長所を生かし、互いの弱点を補完することができます。
• 高いコンテキストでも安定した応答が得られます。
• コンテキストを読み取り、物語を自然に展開する能力があります。

📦 インストール

このモデルは、mergekitを使用して事前学習言語モデルをマージすることで作成されています。具体的なインストール手順は、ユーザーが使用する環境に応じて異なります。

💻 使用例

基本的な使用法

# ここには具体的なコード例が元文書になかったため、省略します。

高度な使用法

# 高度な使用法に関する具体的なコード例が元文書になかったため、省略します。

📚 ドキュメント

量子化

GGUF:
VongolaChouko/Starcannon-Unleashed-12B-v1.0-GGUF
mradermacher/Starcannon-Unleashed-12B-v1.0-GGUF
bartowski/Starcannon-Unleashed-12B-v1.0-GGUF

mradermacherとbartowskiには、GGUF量子化の提供に感謝します！

EXL2:
8bpw
6bpw
4bpw

Statuoには、EXL2量子化の提供に感謝します！

PCの制限により、最大24576コンテキストのQ6_Kを使用してモデルをテストすることしかできませんでした。あなたの環境での動作結果を教えてください。高いコンテキストでもうまく動作することを願っています。

サンプル出力

マージ詳細

このモデルは、mergekitを使用して事前学習言語モデルをマージすることで作成されています。

マージ方法

このモデルは、G:\text-generation-webui\models\MarinaraSpaghetti_NemoMix-Unleashed-12Bをベースとして、della_linearマージ方法を使用してマージされています。

マージされたモデル

以下のモデルがマージに含まれています：

• G:\text-generation-webui\models\Nothingiisreal_MN-12B-Starcannon-v3

設定

以下のYAML設定がこのモデルを生成するために使用されました：

base_model: G:\text-generation-webui\models\MarinaraSpaghetti_NemoMix-Unleashed-12B
dtype: bfloat16
merge_method: della_linear
parameters:
  epsilon: 0.05
  int8_mask: 1.0
  lambda: 1.0
slices:
- sources:
  - layer_range: [0, 40]
    model: G:\text-generation-webui\models\MarinaraSpaghetti_NemoMix-Unleashed-12B
    parameters:
      density: 0.65
      weight: 0.4
  - layer_range: [0, 40]
    model: G:\text-generation-webui\models\Nothingiisreal_MN-12B-Starcannon-v3
    parameters:
      density: 0.55
      weight: 0.6

🔧 技術詳細

このモデルは、della_linearマージ方法を使用して2つの事前学習言語モデルをマージすることで作成されています。マージに使用されたパラメーターや設定については、「マージ詳細」セクションを参照してください。

📄 ライセンス

このモデルは、cc-by-nc-4.0ライセンスの下で提供されています。

付録

ヒント

• 対話の例と最初のメッセージは非常に重要です。モデルはこれらのセクションで書かれたスタイルをコピーします。たとえば、短い出力が欲しい場合は、対話の例と最初のメッセージを短くし、長い出力が欲しい場合は、例にいくつかの文からなる完全な段落を含めてください。
• 対話の例と最初のメッセージが短い/簡潔でも、モデルが長々と話す場合は、温度を少しずつ下げてみてください。ただし、最初はMin PとXTCをそのままにしておきます。結果をテストし、好みに合わせて調整してください。まだ長々と話す場合は、XTC閾値を上げてみてください。
• 次の応答に対して指示をより強く反映させたい場合は、チャット内の著者のメモ@深度2をシステムとして利用してください。何かエキサイティングで自然なことが欲しい場合は、モデルをテストしたときに使用したこのメモを試してみることができます："Scenario: Spontaneous. {{char}} has full autonomy to do anything they wish and progress the interaction in any way they like."

クレジット

MarinaraSpaghettiとNothing is Realには、素晴らしいモデルを提供してくれたことに感謝します！あなたたちのモデルにとても魅了され、このモデルを作る方法を学ぶきっかけになりました。本当にやってよかったです！