Wayfarer 12B

🚀 遠行者-12B

遠行者-12B是一款專門為玩家打造的冒險角色扮演模型，它能帶來充滿挑戰與危險的體驗。如今多數AI模型過於溫和，無法滿足玩家對沖突與挑戰的需求，而該模型則彌補了這一不足。玩家可在AI Dungeon上體驗，也能下載模型本地運行。

🚀 快速開始

如果你想輕鬆免費地試用這個模型，可以訪問 https://aidungeon.com。若你想下載模型本地運行，量化後的GGUF權重可在此處下載。

✨ 主要特性

• 挑戰與危險體驗：與多數AI模型不同，遠行者-12B能讓玩家體驗到失敗、死亡等情節，為遊戲增添衝突、緊張感和真實的風險。
• 對抗性設計：遊戲中玩家必須能夠失敗、死亡甚至重新開始，這使得遊戲更具趣味性。
• 開源共享：模型已開源，任何人都能體驗無情殘酷的AI冒險。

📦 安裝指南

文檔未提及具體安裝步驟，若需本地運行模型，可下載 量化後的GGUF權重 後，結合合適的庫（如 transformers）進行安裝。

📚 詳細文檔

模型詳情

遠行者-12B基於Nemo基礎模型，採用兩階段監督微調（SFT）方法進行訓練。第一階段包含180K個聊天格式的指令數據實例，第二階段則由合成的8k上下文文本冒險和角色扮演體驗按50/50的比例混合而成。

製作方式

• 數據生成：遠行者的文本冒險數據是通過模擬AI Dungeon中已發佈的角色創建場景的通關過程生成的。五種不同的用戶原型分別通關每個場景，每個角色在陣營、位置等方面都有所不同，從而生成五個獨特的樣本。
• 模擬過程：一個語言模型扮演敘述者，另一個扮演用戶。它們彼此不知道對方的底層邏輯，因此用戶的選擇實際上能夠讓敘述者感到意外。每個模擬過程允許運行8k個標記，或者直到主角死亡為止。
• 情感基調：遠行者的整體情感基調是悲觀的，失敗頻繁發生，且不存在“主角光環”，這有助於抵消如今語言模型中固有的積極偏見。

推理

Nemo架構對較高的溫度參數比較敏感，因此建議使用以下設置作為基線，當然你也可以自行調整：

"temperature": 0.8,
"repetition_penalty": 1.05,
"min_p": 0.025

侷限性

• 敘述風格：遠行者僅在敘事風格的第二人稱現在時數據（使用“你”）上進行訓練。其他風格也可以使用，但可能會產生不理想的結果。
• 對話輪次：遠行者僅在單輪聊天數據上進行訓練。

提示格式

兩個微調階段均使用了ChatML格式，示例如下：

<|im_start|>system
You're a masterful storyteller and gamemaster. Write in second person present tense (You are), crafting vivid, engaging narratives with authority and confidence.<|im_end|>
<|im_start|>user
> You peer into the darkness.<|im_end|>
<|im_start|>assistant
You have been eaten by a grue.

GAME OVER<|im_end|>

📄 許可證

本項目採用Apache-2.0許可證。

致謝

感謝 Gryphe Padar 與我們合作進行此次微調！