Wayfarer 12B

🚀 Wayfarer-12B

このモデルは、AIダンジョンのプレイヤーに、挑戦的で危険なAIアドベンチャー体験を提供するために開発されました。現代のAIモデルは多くが甘く、プレイヤーを失敗や死亡から遠ざける傾向がありますが、Wayfarerはそれを打破し、本当のゲーム感を演出します。

🚀 クイックスタート

AIダンジョンのプレイヤーからは、現代のAIモデルがあまりにも甘く、失敗や死亡を許さないという声が何度も寄せられています。チャットボットが親切で役に立つのは良いことですが、素晴らしい物語やゲームには虹やユニコーンだけではなく、対立、緊張、そして死が必要です。これらがキャラクターや彼らの旅に本当のリスクと結果をもたらします。

同様に、素晴らしいゲームには敵対する要素が必要です。失敗し、死ぬことができ、時には最初からやり直す必要があるかもしれません。これがゲームをより面白くします！

しかし、大多数のAIモデルは、RLHFによるアライメントを通じて、暗黒、暴力、対立から遠ざかるように訓練されており、この役割を果たすことができません。プレイヤーにより良い選択肢を提供するために、私たちは独自のモデルを訓練することにしました。

Wayfarerは、プレイヤーに挑戦的で危険な体験を提供するために特別に訓練されたアドベンチャーロールプレイモデルです。私たちは彼らが好きになると思っていましたが、AIダンジョンで公開して以来、プレイヤーの反応は予想以上に良かったです。

彼らが非常に好きだったので、私たちはこのモデルをオープンソース化し、誰もが容赦なく残酷なAIアドベンチャーを体験できるようにしました！誰でもモデルをダウンロードしてローカルで実行することができます。

また、このモデルを無料で簡単に試したい場合は、https://aidungeon.com で試すことができます。

私たちはこのようなモデルの改善とオープンソース化を続ける予定ですので、モデルの振る舞いをどのように改善できるかについてのフィードバックをお寄せください。以下に、Wayfarerがどのように作成されたかの詳細を共有します。

量子化されたGGUFの重みはこちらからダウンロードできます。

✨ 主な機能

• 挑戦的で危険なAIアドベンチャー体験を提供します。
• オープンソース化されており、誰でもダウンロードしてローカルで実行できます。
• 無料で簡単に試すことができます。

📚 ドキュメント

モデルの詳細

Wayfarer 12Bは、Nemoベースモデルをベースに、2段階のSFTアプローチを使用して訓練されました。最初の段階では18万件のチャット形式の命令データインスタンスを含み、2段階目は合成8kコンテキストのテキストアドベンチャーとロールプレイ体験の50/50の混合物で構成されています。

作成方法

Wayfarerのテキストアドベンチャーデータは、AIダンジョンで公開されているキャラクタークリエイターシナリオのプレイスルーをシミュレートすることで生成されました。5つの異なるユーザーアーキタイプが各シナリオをプレイし、キャラクターは派閥、場所などがそれぞれ異なり、5つの独自のサンプルが生成されました。

一方の言語モデルがナレーターの役割を果たし、もう一方がユーザーの役割を果たしました。彼らは互いの基本的なロジックを知らないため、ユーザーは実際にナレーターを自分の選択で驚かせることができました。各シミュレーションは8kトークンまで、または主人公が死亡するまで実行されました。

Wayfarerの一般的な感情的な雰囲気は悲観的で、失敗は頻繁に起こり、プロットアーマーは存在しません。これは、現在の言語モデルに固有のポジティブバイアスに対抗するためのものです。

推論

Nemoアーキテクチャは高温に敏感であることが知られているため、以下の設定をベースラインとして推奨します。もちろん、これらを試してみることを妨げるものは何もありません。

"temperature": 0.8,
"repetition_penalty": 1.05,
"min_p": 0.025

制限事項

Wayfarerは、主に二人称現在形のデータ（「あなた」を使用）を用いて訓練されています。他のスタイルでも動作しますが、最適な結果が得られない場合があります。

また、Wayfarerは単一ターンのチャットデータのみを用いて訓練されています。

プロンプト形式

微調整の両段階でChatMLが使用されました。

<|im_start|>system
あなたは熟練した物語作家であり、ゲームマスターです。二人称現在形（あなたは）で書き、鮮やかで魅力的な物語を権威と自信を持って作り出してください。<|im_end|>
<|im_start|>user
> あなたは暗闇の中を見つめます。<|im_end|>
<|im_start|>assistant
あなたはグルーに食べられました。

ゲームオーバー<|im_end|>

クレジット

この微調整に協力してくれた Gryphe Padar に感謝します！

📄 ライセンス

このモデルはApache-2.0ライセンスの下で公開されています。