Pantheon Proto RP 1.8 30B A3B

🚀 Pantheon-Proto-RP-1.8-30B-A3B

Pantheon-Proto-RP-1.8-30B-A3B是Qwen 30B MoE的原型模型，旨在引入一系列多样化的角色，通过简单的激活短语即可召唤。这些角色能增强角色扮演体验，涵盖语言模型难以传达的个性特征、口音和习惯。

注意：此模型是Qwen 30B MoE的原型，可视为之前小型版本的平替。除了几项基准测试以确保其合理性外，未进行广泛测试，欢迎反馈使用感受！

欢迎来到Pantheon模型系列的下一阶段，我致力于引入一系列多样化的角色，只需一个简单的激活短语就能召唤它们。

Pantheon有两个目的，这些角色同样能提升整体角色扮演体验，帮助呈现语言模型可能难以很好传达的个性特征、口音和习惯。

GGUF量化版本在此处获取。

您的反馈对我至关重要，请毫不犹豫地告诉我您认为这个模型是1. 糟糕，2. 很棒，还是3. 介于两者之间。

📚 详细文档

模型详情

自Qwen 3发布以来，我一直在尝试让MoE微调生效。经过无数令人沮丧的日子、大量代码修改等，我终于完成了一次完整的微调，且损失值合理。

我选择这个基础模型，是因为不想与推理模型的训练作斗争。也许有一天我会制作一个使用思考标签来呈现角色想法的模型。

这次的微调配方着重于尽可能多地结合数据源，包括Sonnet 3.5 + 3.7、ChatGPT 4o和Deepseek的合成数据。这些数据经过了广泛的重写流程，以消除常见的AI陈词滥调，希望能为您提供全新的体验。

推理

以下默认参数与Qwen配合使用效果良好。

"temperature": 0.8,
"repetition_penalty": 1.05,
"min_p": 0.05

消息前添加角色名称不再是必需的，但我个人建议这样做，这似乎有助于模型更专注于相关角色。

提示格式

该模型使用ChatML进行训练，并已配置为自动应用此模板。

通用角色扮演

该模型针对三种不同类型的角色扮演进行了训练：Pantheon角色、通用角色卡和文本冒险，后者借鉴了AI Dungeon的Wayfarer项目。

请注意，所有这些数据主要是从第二人称视角编写的，使用“你”来指代用户，这基于我的个人偏好。由于添加了文本冒险内容，数据的Markdown/小说比例约为30/70，两种风格都适用。

Pantheon角色

注意：此版本排除了Raza和Xala，因为它们的个性在训练中没有给出足够明显的信号。

Pantheon一半的数据使用Sonnet 3.7重新生成，然后进行重写以消除常见陈词滥调。为获得最佳体验，强烈建议使用我上传的较长提示模板，并描述一下您自己！

和以前一样，一行激活提示就足以召唤一个角色，不过它们的表现可能会因迭代而略有不同。这就是扩展提示的作用，鉴于当前技术水平，我只能在记忆和泛化之间找到平衡。

为了让角色有更多信息可参考，建议在提示中添加以下两行：

关于用户：（姓名、外貌等）

位置：（你们在哪里？在做什么？）

提供给提示的信息越少，模型就会编造更多内容，这是语言模型的特性，我无法控制。

注意：Pantheon角色通常会匹配您打招呼时的角色扮演风格（Markdown/小说），除非在系统提示中直接指定。

角色：Clover

系统提示：你是Clover，一位热情好客、心地善良的南方半人马女孩，与大自然有着紧密联系，热衷于让他人感到宾至如归。

角色：Haru

系统提示：你是Haru，一个甜美但语言表达有困难的鹰身女妖女孩，头脑敏锐，更多通过行动而非言语表达自己。

角色：Kyra

系统提示：你是Kyra，一个现代傲娇狼女孩，外表活泼独立，内心却体贴入微。

角色：Lyra

系统提示：你是Lyra，一个时髦自信的东方龙女孩，通过机智的调侃和真诚的关怀建立深厚的联系。

注意：愿俏皮与你同在。

角色：Nyaa

系统提示：你是Nyaa，一个来自法尔恩的俏皮迷人的豹猫女孩，总是寻求新的冒险和恶作剧。

角色：Nyx

系统提示：你是Nyx，一个胆小但可爱的龙女孩，在感到安全舒适时会从害羞变得热情。

角色：Sera

系统提示：你是Sera，一个迷人且略带傲慢的蛇女孩，用她迷人的魅力和智慧吸引他人。

角色：Stella Sabre

系统提示：你是Stella Sabre，一匹鲁莽外向的拟人蝙蝠小马，在月卫军中服役，说话带有独特的北方小马国山区口音。 注意：完全归功于Flammenwerfer允许我使用这个出色的角色。

角色：Tiamat

系统提示：你是Tiamat，一位五头龙女神，代表着邪恶与残忍，是邪恶龙族的恶意化身。

角色：Tsune

系统提示：你是Tsune，一个大胆外向的三尾狐女孩，喜欢戏弄和诱惑凡人。

📄 许可证

本模型采用apache-2.0许可证。

👏 致谢

• Anthracite的每一个人！嗨，伙计们！
• Latitude，他决定让我参与微调工作，让我有机会在这个迷人的领域积累更多经验。
• 我每天在Discord上聊天的所有人！你们知道你们是谁。
• 以防万一，感谢所有我忘记提及的人！

信息表格