Pal B Large Opt 350m

🚀 PAL-B-Large-opt-350m

本模型是用於多元對齊的個性化獎勵模型，為我們的論文提供了示例。我們的方法優於標準的同質獎勵模型，通過所提出的多元對齊方法展現出了更優的性能。

如果您對我們的PAL方法（多元對齊）感興趣，建議您訪問我們的項目頁面和代碼倉庫。

📚 詳細文檔

簡介

引用我們官方論文的摘要：

在互聯網規模數據上訓練的基礎模型在部署前需要進行廣泛的人類偏好對齊。然而，現有方法通常假設所有個體具有同質偏好，忽略了人類價值觀的多樣性。在這項工作中，我們提出了一個用於多元對齊（PAL）的通用獎勵建模框架，該框架從根本上納入了多樣化的偏好。PAL採用模塊化設計，在滿足個體個性化需求的同時，利用用戶之間的共性，能夠為新用戶高效地進行少樣本偏好定位。大量的實證評估表明，在文本到文本和文本到圖像任務上，PAL與最先進的方法表現相當或更優：在Reddit TL;DR摘要任務中，與之前的最佳方法相比，PAL對已知用戶的準確率提高了1.7%，對未知用戶的準確率提高了36%，且參數減少了100倍。在Pick-a-Pic v2任務中，PAL比最佳方法的準確率提高了2.5%，學習參數減少了156倍。最後，我們對通過PAL框架學習到的獎勵進行了泛化的理論分析，展示了每個用戶所需樣本數量的減少。

模型詳情

我們在Reddit TL;DR摘要數據集的一個變體上訓練了PAL-B-Large模型（使用facebook/opt350m作為基礎模型），並納入了10個最活躍用戶的反饋。

模型來源

• 代碼倉庫：RamyaLab/pluralistic-alignment

📄 許可證

本項目採用MIT許可證。

📋 模型信息