Consilience 40b J4iA6BRm

🚀 Nous Consilience 40B

Nous Consilience 40B 是一個文本生成模型，它通過互聯網以去中心化的方式從頭開始進行預訓練。該模型每訓練 500 步就會自動更新一次，最新的檢查點會從 正在進行的預訓練儀表盤 上傳到此處。欲瞭解更多信息，請閱讀 博客文章。

🚀 快速開始

本模型每 500 個訓練步驟會自動更新一次，最新的檢查點會從 正在進行的預訓練儀表盤 上傳。如需更多信息，請閱讀 博客文章。

✨ 主要特性

• 基於互聯網以去中心化方式從頭開始預訓練。
• 每 500 個訓練步驟自動更新。

📚 詳細文檔

模型詳情

預訓練數據集

在訓練數據方面，我們合併了 FineWeb（14T）、去除了一些不常見語言的 FineWeb - 2（4T）以及 The Stack V2（約 0.2T，上採樣至 1T 令牌）。我們選擇這些數據集，而非那些旨在單純提高基準性能的更專業化的預訓練數據集。我們使用 Consilience 的目標是打造一個真正的 “基礎” 模型 —— 一個能夠代表人類全部創造性產出的模型，而不僅僅是為了在基準測試中獲勝。

此外，我們在訓練這個模型時沒有進行最終的數據 “退火” 步驟。雖然退火有助於基礎模型更準確地響應基準測試並提高可用性，但它可能會限制創造力和有趣的行為。我們的解決方案是同時發佈兩個版本：首先是原始的、未退火的基礎模型，隨後是經過退火處理的版本以提高可用性。

📄 許可證

作為代表人類廣泛而多樣的創造性產出的模型，我們選擇以雙重許可證的方式發佈它：默認採用 CC0 許可證，將其奉獻給公共領域；同時也允許需要具有歸屬和免責聲明的寬鬆條款的用戶在 MIT 許可證 下使用。