Consilience 40b CqX3FUm4

🚀 Nous Consilience 40B

Nous Consilience 40B是一個生成式文本模型，它通過互聯網以去中心化的方式從頭開始進行預訓練。該模型每訓練500步就會自動更新，最新的檢查點會從正在進行的預訓練儀表盤上傳至此。如需瞭解更多信息，請閱讀博客文章。

🚀 快速開始

Nous Consilience 40B是一個從頭開始在互聯網上以去中心化方式進行預訓練的生成式文本模型。該模型每500個訓練步驟自動更新一次，最新的檢查點會從正在進行的預訓練儀表盤上傳到此處。

如需瞭解更多信息，請閱讀博客文章。

📚 詳細文檔

模型詳情

預訓練數據集

在訓練數據方面，我們合併了FineWeb（14T）、去除了一些不太常見語言的FineWeb - 2（4T）以及The Stack V2（約0.2T，上採樣至1T標記）。我們選擇這些數據集，而非那些旨在單純提高基準性能的更專業化的預訓練數據集。我們使用Consilience的目標是打造一個真正的“基礎”模型——一個能夠代表人類全部創造性產出的模型，而不僅僅是為了在基準測試中獲勝。

此外，我們在訓練這個模型時沒有進行最終的數據“退火”步驟。雖然退火有助於基礎模型更準確地響應基準測試並提高可用性，但它可能會限制創造性和有趣的行為。我們的解決方案是同時發佈兩個版本：首先是原始的、未退火的基礎模型，然後是經過退火處理的版本以提高可用性。

📄 許可證

由於該模型代表了人類廣泛而多樣的創造性產出，我們選擇以雙重許可證的方式發佈它：默認採用CC0許可證，將其奉獻給公共領域；同時，也允許需要具有歸屬和免責聲明的寬鬆條款的用戶在MIT許可證下使用它。