license: apache-2.0 thumbnail: https://cdn-uploads.huggingface.co/production/uploads/6625f4a8a8d1362ebcc3851a/hIZ2ZcaDyfYLT9Yd4pfOs.jpeg language:

• en base_model:
• Qwen/QwQ-32B library_name: transformers pipeline_tag: text-generation

QwQ-32B-ArliAI-RpR-v4

画像はArli AI Image Generationで生成 https://www.arliai.com/image-generation

RpR v4の変更点:

ArliAI史上最高のRP/クリエイティブモデルが再び登場。

• 繰り返しとなりすましの削減

  RpR v3の創造性と型破りな思考に加え、より高度なフィルタリング手法を採用し、LLMが類似フレーズを繰り返したりユーザーの代わりに話したりする例を除去しました。発生する繰り返しやなりすましは、ベースQwQモデルの学習方法によるものであり、RpRデータセットが原因ではありません。

• 学習シーケンス長の増加

  学習シーケンス長を16Kに増加させ、長いチャットでも認識力と記憶力を向上させました。

RpRシリーズ概要: RPMaxを基盤とした推論機能の構築

RpR（RolePlay with Reasoning）はArliAIの新しいモデルシリーズです。このシリーズはRPMaxシリーズで開発された成功したデータセット選定方法論と学習手法を直接継承しています。

RpRモデルはRPMaxで使用された精選・重複排除済みRPおよびクリエイティブライティングデータセットを使用し、多様性に焦点を当てることで高い創造性を確保し、コンテキスト間の繰り返しを最小限に抑えています。RPMaxに慣れ親しんだユーザーは、他のRP用にファインチューンされたモデルとは異なる、独自の非反復的ライティングスタイルを認識するでしょう。

QwQが容易に学習可能な最初の高性能オープンソース推論モデルとしてリリースされたことで、利用可能な指示およびクリエイティブライティング推論データセットには各例につき1つの応答しか含まれていないことが明らかになりました。この種の単一応答データセットは、長いマルチターンチャットで出力品質の低下を引き起こします。そのためArli AIは、長いマルチターンチャットが可能な真のRPモデルを作成することを決定しました。

RpRを作成するため、まず既存の既知の良質なRPMaxデータセットを推論データセットに再処理することで、推論RPデータセットを実際に作成する必要がありました。これはベースQwQ Instructモデル自体を使用して、RPMaxデータセットの会話例における各ターンの推論プロセスを作成することで可能となり、その後さらに洗練され、推論がデータセットの実際の応答例と一致するようにしました。

もう1つの重要な点は、モデルが推論ブロックを推論時と同じ方法で提示する例で学習されるようにすることです。つまり、コンテキスト内で推論ブロックを見ることはありません。これを実現するため、axolotlを使用して手動のテンプレートフリーセグメントデータセットで学習を完了し、モデルがコンテキスト内で推論ブロックを見るように学習されないようにしました。これは推論時と同様の使用方法です。

このデータセットと方法でQwQを学習した結果、長いマルチターンRPチャットでも一貫して首尾一貫した興味深い出力が得られます。これは私たちの知る限り、RPおよびクリエイティブライティング向けに正しく学習された最初の真の推論モデルです。

モデルは https://arliai.com でアクセス可能で、モデルランキングページも https://www.arliai.com/models-ranking にあります。

新しいDiscordサーバー https://discord.com/invite/t75KbPgwhk またはサブレディット https://www.reddit.com/r/ArliAI/ で質問してください。

モデル説明

QwQ-32B-ArliAI-RpR-v4はRpRシリーズの第3弾リリースです。これは32億パラメータモデルで、精選されたRPMaxデータセットに基づくRpRデータセットを使用してファインチューンされ、長いマルチターンチャットで推論能力を維持する技術が組み込まれています。

推奨サンプラー

• RpRモデルは繰り返しペナルティタイプのサンプラー（XTCやDRYなどの高度なものも含む）と相性が良くありません。
• シンプルなサンプラー設定で最も良く機能し、長時間の推論（高い最大トークン数）も可能にする必要があります。
• このリポジトリのファイルセクションにアップロードされたSTマスターエクスポートもダウンロードできます。

まず以下の設定から始めることを推奨します:

• 温度: 1.0
• MinP: 0.02
• TopK: 40
• 応答トークン: 2048+

仕様

• ベースモデル: QwQ-32B
• 最大コンテキスト長: Yarn使用時最大128K（ベースQwQと同様にネイティブ32K）
• パラメータ: 32B
• 推論モデル: はい

学習詳細

• シーケンス長: 16384
• エポック: 1エポック学習（RPMax手法から継承）
• ファインチューニング方法: RS-QLORA+（Rank-Stabilized LoRA + LoRA Plus 8x）
• ランク/アルファ: 128-rank 128-alpha
• 学習率: 0.00001
• スケジューラー: Rex
• 勾配累積: 32

素晴らしい学習グラフ :)

量子化

• BF16: https://huggingface.co/ArliAI/QwQ-32B-ArliAI-RpR-v4
• GGUF: https://huggingface.co/ArliAI/QwQ-32B-ArliAI-RpR-v4-GGUF

STで推論モデルを正しく使用する方法

一般的な推論モデルでは、以下を確認する必要があります:

• プレフィックスは<think>のみ、サフィックスは</think>のみに設定（スペースや改行なし）
• 返信は<think>で開始
• 「常にキャラクター名を追加」はチェックなし
• 「名前を含める」は「never」に設定
• 常にチャットテンプレートも使用モデルに準拠する必要があります

注: 推論モデルは「名前を含める」が「never」に設定されている場合にのみ正しく機能します。これは、ユーザーターンのeosトークンの直後に<think>トークンが続き、応答を出力する前に推論を開始することを常に期待するためです。「名前を含める」を有効にすると、「セラフィナ:<eos_token>」のように常にキャラクター名が末尾に追加され、モデルが応答すべきか推論すべきか混乱します。

その他のサンプラーパラメータは通常通り自由に設定できます。

思考ブロック内に推論が表示されない場合、設定がこの例に従っていないか、STバージョンが古すぎて推論ブロックの自動解析ができないかのどちらかです。

応答全体が推論ブロック内にある場合、<think>と</think>の推論トークン接頭辞・接尾辞に余分なスペースや改行があるか、モデルがこれらのトークン間に常に推論を配置するほど賢い推論モデルではない可能性があります。

すべて正しく設定すると、次のようになります:

試してみてください！

モデルの好みは主観的なものなので、ぜひQwQ-32B-ArliAI-RpR-v4を自分で試してください。良いフィードバックも悪いフィードバックも常に貴重であり、将来のRPMaxおよびRpRモデルの改善に役立ちます。