Wayfarer 12B

🚀 远行者-12B

远行者-12B是一款专门为玩家打造的冒险角色扮演模型，它能带来充满挑战与危险的体验。如今多数AI模型过于温和，无法满足玩家对冲突与挑战的需求，而该模型则弥补了这一不足。玩家可在AI Dungeon上体验，也能下载模型本地运行。

🚀 快速开始

如果你想轻松免费地试用这个模型，可以访问 https://aidungeon.com。若你想下载模型本地运行，量化后的GGUF权重可在此处下载。

✨ 主要特性

• 挑战与危险体验：与多数AI模型不同，远行者-12B能让玩家体验到失败、死亡等情节，为游戏增添冲突、紧张感和真实的风险。
• 对抗性设计：游戏中玩家必须能够失败、死亡甚至重新开始，这使得游戏更具趣味性。
• 开源共享：模型已开源，任何人都能体验无情残酷的AI冒险。

📦 安装指南

文档未提及具体安装步骤，若需本地运行模型，可下载 量化后的GGUF权重 后，结合合适的库（如 transformers）进行安装。

📚 详细文档

模型详情

远行者-12B基于Nemo基础模型，采用两阶段监督微调（SFT）方法进行训练。第一阶段包含180K个聊天格式的指令数据实例，第二阶段则由合成的8k上下文文本冒险和角色扮演体验按50/50的比例混合而成。

制作方式

• 数据生成：远行者的文本冒险数据是通过模拟AI Dungeon中已发布的角色创建场景的通关过程生成的。五种不同的用户原型分别通关每个场景，每个角色在阵营、位置等方面都有所不同，从而生成五个独特的样本。
• 模拟过程：一个语言模型扮演叙述者，另一个扮演用户。它们彼此不知道对方的底层逻辑，因此用户的选择实际上能够让叙述者感到意外。每个模拟过程允许运行8k个标记，或者直到主角死亡为止。
• 情感基调：远行者的整体情感基调是悲观的，失败频繁发生，且不存在“主角光环”，这有助于抵消如今语言模型中固有的积极偏见。

推理

Nemo架构对较高的温度参数比较敏感，因此建议使用以下设置作为基线，当然你也可以自行调整：

"temperature": 0.8,
"repetition_penalty": 1.05,
"min_p": 0.025

局限性

• 叙述风格：远行者仅在叙事风格的第二人称现在时数据（使用“你”）上进行训练。其他风格也可以使用，但可能会产生不理想的结果。
• 对话轮次：远行者仅在单轮聊天数据上进行训练。

提示格式

两个微调阶段均使用了ChatML格式，示例如下：

<|im_start|>system
You're a masterful storyteller and gamemaster. Write in second person present tense (You are), crafting vivid, engaging narratives with authority and confidence.<|im_end|>
<|im_start|>user
> You peer into the darkness.<|im_end|>
<|im_start|>assistant
You have been eaten by a grue.

GAME OVER<|im_end|>

📄 许可证

本项目采用Apache-2.0许可证。

致谢

感谢 Gryphe Padar 与我们合作进行此次微调！