COMEDY 7B

🚀 COMEDY: COmpressive Memory-Enhanced Dialogue sYstems framework.

COMEDYは、革新的な「One-for-All」アプローチを採用した対話システムフレームワークです。過去の対話からセッション固有のメモリを抽出し、圧縮して、文脈を考慮した対話を実現します。

🚀 クイックスタート

COMEDYのソースコードはGitHubで公開されており、関連する論文も参照できます。

• GitHub: https://github.com/nuochenpku/COMEDY
• 論文: https://arxiv.org/abs/2402.11975.pdf

✨ 主な機能

タスク: 長期対話の対話生成

従来の検索ベースの手法とは異なり、COMEDYは検索モジュールやデータベースに依存しません。代わりに、革新的な「One-for-All」アプローチを採用し、単一の統一モデルを使用して、長期メモリ対話生成のためのメモリ生成、圧縮から最終的な応答生成までの全プロセスを管理します。

• COMEDYはまず、過去の対話からセッション固有のメモリを抽出します。これには、イベントの要約を含む細粒度のセッション要約、および詳細なユーザーとボットのプロファイルが含まれます。
• 従来のシステムとは異なり、COMEDYはこれらの洞察を格納するためのメモリデータベースを使用しません。代わりに、過去のすべての対話からのメモリを再処理し、圧縮して、Compressive Memoryを形成します。最初の部分は、すべての会話で発生した簡潔なイベントであり、システムが参照できる履歴ナラティブを作成します。2番目と3番目の部分は、過去の会話イベントから派生した詳細なユーザープロファイルと、セッション間のユーザーとチャットボットの動的な関係の変化で構成されています。
• 最後に、COMEDYはこの圧縮メモリを進行中の会話に巧みに統合し、文脈を考慮したメモリ強化型の対話を可能にします。

📦 訓練データセット

Dolphinは、実際のオンラインユーザーとチャットボットの対話から収集された、最大の中国語の長期対話データセットです。このデータセットには3つのタスクが含まれています。

• セッションレベルのメモリ要約
• メモリ圧縮
• メモリベースの応答生成

このデータセットには10万件のサンプルが含まれています。DolphinはDolphinで入手できます。

🔧 訓練戦略

訓練戦略には2つの段階が含まれています。混合タスク訓練とDPOアライメントです。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。