Consilience 40b 7Y9v38s5

🚀 Nous Consilience 40B文本生成模型

Nous Consilience 40B是一個文本生成模型，它通過去中心化的方式在互聯網上從零開始進行預訓練。該模型每訓練500步就會自動更新一次，並會從正在進行的預訓練儀表盤上傳最新的檢查點。欲瞭解更多信息，請閱讀博客文章。

🚀 快速開始

本文檔將為你詳細介紹Nous Consilience 40B模型的相關信息，包括模型細節、預訓練數據集和許可證等內容。

✨ 主要特性

• 自動更新：每訓練500步自動更新，確保模型的時效性。
• 多語言支持：支持包括英語、中文、俄語等在內的多種語言。
• 雙重許可：採用CC0和MIT雙重許可，滿足不同用戶的需求。

📚 詳細文檔

模型細節

預訓練數據集

在訓練數據方面，我們將FineWeb（14T）、去除了一些不太常見語言的FineWeb - 2（4T）和The Stack V2（約0.2T，上採樣至1T令牌）進行了合併。我們選擇這些數據集，而非那些旨在單純提高基準性能的更專業化的預訓練數據集。我們使用Consilience的目標是打造一個真正的“基礎”模型——一個能夠代表人類全部創造性產出的模型，而不僅僅是為了在基準測試中獲勝。

此外，我們在訓練這個模型時沒有進行最終的數據“退火”步驟。雖然退火有助於基礎模型更準確地響應基準測試並提高可用性，但它可能會限制創造力和有趣的行為。我們的解決方案是同時發佈兩個版本：首先是原始的、未退火的基礎模型，然後是經過退火處理的版本，以提高可用性。

📄 許可證

由於該模型代表了人類廣泛而多樣的創造性產出，我們選擇以雙重許可的方式發佈它：默認採用CC0許可，將其奉獻給公共領域；同時，也允許需要寬鬆條款、有歸屬要求和免責聲明的用戶使用MIT許可。