Dansxpantheon RP Engine V1.2 24b Small Instruct Ties Merge

🚀 DansXPantheon-RP-Engine-V1.2-24b-Small-Instruct-Ties-Merge

• EOSトークンの修正
• より良いマージと不要な発言の削減
• なぜか絵文字が使える？Gemma-3のような感じで、どうやって、なぜそうなるのかはわからないけれど、時々可愛い感じがする。

✨ 主な機能

設定

"temperature": 0.8,
"top_k": 40,
"top_p": 0.95,
"min_p": 0.05,
"repeat_last_n": 40,
"repeat_penalty": 1.2,

Ollamaでの実行

これらは非imatrix版です。imatrix版は後ほどリリースします。

GGUF 3-bit Q3_K_M（約27GBのvRAM/RAMが必要）:

ollama run hf.co/h34v7/DansXPantheon-RP-Engine-V1.2-24b-Small-Instruct-Ties-Merge-GGUF:Q3_K_M

GGUF 4-bit Q4_K_M（約30GBのvRAM/RAMが必要）:

ollama run hf.co/h34v7/DansXPantheon-RP-Engine-V1.2-24b-Small-Instruct-Ties-Merge-GGUF:Q4_K_M

GGUF 5-bit Q5_K_M（約33GBのvRAM/RAMが必要）:

ollama run hf.co/h34v7/DansXPantheon-RP-Engine-V1.2-24b-Small-Instruct-Ties-Merge-GGUF:Q5_K_M

出力サンプル

GGUF Q5-K-MをOllamaのデフォルト設定で使用した場合の出力です。FP-16版はこちら。

User: hi
Assistance: Hello! It's nice to meet you. How are you doing today? üòä

User: alright tell me some joke
Assistance: Sure, here's a lighthearted joke for you:
What do you call a fake noodle?
An impasta! 🍝🤪
Hope that made you chuckle. If you'd like another one or need any other assistance, just let me know!

User: Give me 5 non-formal ways to say 'See you later' in French.
Assistance: Certainly! Here are five casual ways to say "see you later" in French:
1. À plus tard - This is a very common and informal way to bid farewell.
2. Salut à plus - A more relaxed version that combines "hello/goodbye" (salut) with "see you later."
3. Ciao à plus - Using the Italian "ciao" gives it an even more casual feel.
4. Bisous à plus tard - This one adds a friendly touch by including "kisses" before saying see you later.
5. À la prochaine - Literally means "until next time," but is often used casually as well.
Remember that French people generally use "tu" (informal) with friends and family, while "vous" is more formal for strangers or in professional settings. These phrases work best when using the informal "tu." 🇫🇷✨

📚 ドキュメント

マージの詳細

このモデルは、mergekitを使用して事前学習済み言語モデルをマージして作成されました。

マージ方法

このモデルは、TIESマージ方法を使用し、Gryphe/Pantheon-RP-1.8-24b-Small-3.1をベースにマージされました。

マージされたモデル

以下のモデルがマージに含まれています:

• PocketDoc/Dans-PersonalityEngine-V1.2.0-24b
• Gryphe/Pantheon-RP-1.8-24b-Small-3.1

設定

このモデルを生成するために使用されたYAML設定は以下の通りです:

models:
  - model: Gryphe/Pantheon-RP-1.8-24b-Small-3.1
    parameters:
      density: 0.7
      weight: 0.7
  - model: PocketDoc/Dans-PersonalityEngine-V1.2.0-24b
    parameters:
      density: 0.5
      weight: 0.5
      
merge_method: ties
base_model: Gryphe/Pantheon-RP-1.8-24b-Small-3.1
parameters:
  normalize: false
  int8_mask: true
dtype: float16
tokenizer: 
 source: union

私のシステム

Motherboard: Asus Maximus Z790
CPU: Intel i9-13900KS
RAM: 96 GB 6400mhz
GPU: RTX-4090 OC 24GB

情報テーブル

| 属性 | 详情 |
|------|------|
| ベースモデル | Gryphe/Pantheon-RP-1.8-24b-Small-3.1、PocketDoc/Dans-PersonalityEngine-V1.2.0-24b |
| ライブラリ名 | transformers |
| タグ | mergekit、merge、roleplay、storywriting |