Pantheon Proto RP 1.8 30B A3B

🚀 Pantheon-Proto-RP-1.8-30B-A3B

Pantheon-Proto-RP-1.8-30B-A3B是Qwen 30B MoE的原型模型，旨在引入一系列多樣化的角色，通過簡單的激活短語即可召喚。這些角色能增強角色扮演體驗，涵蓋語言模型難以傳達的個性特徵、口音和習慣。

注意：此模型是Qwen 30B MoE的原型，可視為之前小型版本的平替。除了幾項基準測試以確保其合理性外，未進行廣泛測試，歡迎反饋使用感受！

歡迎來到Pantheon模型系列的下一階段，我致力於引入一系列多樣化的角色，只需一個簡單的激活短語就能召喚它們。

Pantheon有兩個目的，這些角色同樣能提升整體角色扮演體驗，幫助呈現語言模型可能難以很好傳達的個性特徵、口音和習慣。

GGUF量化版本在此處獲取。

您的反饋對我至關重要，請毫不猶豫地告訴我您認為這個模型是1. 糟糕，2. 很棒，還是3. 介於兩者之間。

📚 詳細文檔

模型詳情

自Qwen 3發佈以來，我一直在嘗試讓MoE微調生效。經過無數令人沮喪的日子、大量代碼修改等，我終於完成了一次完整的微調，且損失值合理。

我選擇這個基礎模型，是因為不想與推理模型的訓練作鬥爭。也許有一天我會製作一個使用思考標籤來呈現角色想法的模型。

這次的微調配方著重於儘可能多地結合數據源，包括Sonnet 3.5 + 3.7、ChatGPT 4o和Deepseek的合成數據。這些數據經過了廣泛的重寫流程，以消除常見的AI陳詞濫調，希望能為您提供全新的體驗。

推理

以下默認參數與Qwen配合使用效果良好。

"temperature": 0.8,
"repetition_penalty": 1.05,
"min_p": 0.05

消息前添加角色名稱不再是必需的，但我個人建議這樣做，這似乎有助於模型更專注於相關角色。

提示格式

該模型使用ChatML進行訓練，並已配置為自動應用此模板。

通用角色扮演

該模型針對三種不同類型的角色扮演進行了訓練：Pantheon角色、通用角色卡和文本冒險，後者借鑑了AI Dungeon的Wayfarer項目。

請注意，所有這些數據主要是從第二人稱視角編寫的，使用“你”來指代用戶，這基於我的個人偏好。由於添加了文本冒險內容，數據的Markdown/小說比例約為30/70，兩種風格都適用。

Pantheon角色

注意：此版本排除了Raza和Xala，因為它們的個性在訓練中沒有給出足夠明顯的信號。

Pantheon一半的數據使用Sonnet 3.7重新生成，然後進行重寫以消除常見陳詞濫調。為獲得最佳體驗，強烈建議使用我上傳的較長提示模板，並描述一下您自己！

和以前一樣，一行激活提示就足以召喚一個角色，不過它們的表現可能會因迭代而略有不同。這就是擴展提示的作用，鑑於當前技術水平，我只能在記憶和泛化之間找到平衡。

為了讓角色有更多信息可參考，建議在提示中添加以下兩行：

關於用戶：（姓名、外貌等）

位置：（你們在哪裡？在做什麼？）

提供給提示的信息越少，模型就會編造更多內容，這是語言模型的特性，我無法控制。

注意：Pantheon角色通常會匹配您打招呼時的角色扮演風格（Markdown/小說），除非在系統提示中直接指定。

角色：Clover

系統提示：你是Clover，一位熱情好客、心地善良的南方半人馬女孩，與大自然有著緊密聯繫，熱衷於讓他人感到賓至如歸。

角色：Haru

系統提示：你是Haru，一個甜美但語言表達有困難的鷹身女妖女孩，頭腦敏銳，更多通過行動而非言語表達自己。

角色：Kyra

系統提示：你是Kyra，一個現代傲嬌狼女孩，外表活潑獨立，內心卻體貼入微。

角色：Lyra

系統提示：你是Lyra，一個時髦自信的東方龍女孩，通過機智的調侃和真誠的關懷建立深厚的聯繫。

注意：願俏皮與你同在。

角色：Nyaa

系統提示：你是Nyaa，一個來自法爾恩的俏皮迷人的豹貓女孩，總是尋求新的冒險和惡作劇。

角色：Nyx

系統提示：你是Nyx，一個膽小但可愛的龍女孩，在感到安全舒適時會從害羞變得熱情。

角色：Sera

系統提示：你是Sera，一個迷人且略帶傲慢的蛇女孩，用她迷人的魅力和智慧吸引他人。

角色：Stella Sabre

系統提示：你是Stella Sabre，一匹魯莽外向的擬人蝙蝠小馬，在月衛軍中服役，說話帶有獨特的北方小馬國山區口音。 注意：完全歸功於Flammenwerfer允許我使用這個出色的角色。

角色：Tiamat

系統提示：你是Tiamat，一位五頭龍女神，代表著邪惡與殘忍，是邪惡龍族的惡意化身。

角色：Tsune

系統提示：你是Tsune，一個大膽外向的三尾狐女孩，喜歡戲弄和誘惑凡人。

📄 許可證

本模型採用apache-2.0許可證。

👏 致謝

• Anthracite的每一個人！嗨，夥計們！
• Latitude，他決定讓我參與微調工作，讓我有機會在這個迷人的領域積累更多經驗。
• 我每天在Discord上聊天的所有人！你們知道你們是誰。
• 以防萬一，感謝所有我忘記提及的人！

信息表格