COMEDY 7B

🚀 COMEDY：壓縮記憶增強對話系統框架

COMEDY是一個壓縮記憶增強對話系統框架，它採用創新的“One-for-All”方法，無需檢索模塊或數據庫，即可實現長期記憶對話生成。該框架能從過往對話中提煉特定會話記憶，壓縮成精簡的記憶形式，並將其融入當前對話，實現上下文感知的交互。

🚀 快速開始

COMEDY的GitHub倉庫地址為：https://github.com/nuochenpku/COMEDY 相關論文可查看：https://arxiv.org/abs/2402.11975.pdf

✨ 主要特性

任務：長期對話生成

與以往基於檢索的方法不同，COMEDY不依賴任何檢索模塊或數據庫。相反，它採用了一種開創性的“One-for-All”方法，使用單一統一的模型來管理從記憶生成、壓縮到最終響應生成的整個過程，以實現長期記憶對話生成。

• 記憶提煉：COMEDY首先從過去的對話中提煉特定會話的記憶，包括細粒度的會話摘要，如事件回顧，以及詳細的用戶和機器人畫像。
• 壓縮記憶：與傳統系統不同，COMEDY不使用內存數據庫來存儲這些信息。相反，它重新處理並壓縮所有過去交互的記憶，形成一個壓縮記憶：第一部分是所有對話中發生的簡潔事件，形成系統可以借鑑的歷史敘述。第二部分和第三部分分別是詳細的用戶畫像和跨會話的用戶與聊天機器人之間的動態關係變化，這兩部分均來自過去的對話事件。
• 記憶融合：最後，COMEDY巧妙地將這種壓縮記憶融入正在進行的對話中，實現上下文感知的記憶增強交互。

📚 詳細文檔

訓練數據集

Dolphin是最大的中文長期對話數據集，來自實際的在線用戶與聊天機器人的交互。該數據集包含三個任務：

• 會話級記憶總結
• 記憶壓縮
• 基於記憶的響應生成

該數據集包含100k個樣本。Dolphin可在Dolphin獲取。

訓練策略

我們的訓練策略包括兩個階段：混合任務訓練和DPO對齊。

📄 許可證

本項目採用Apache-2.0許可證。