Consilience 40b J4iA6BRm

🚀 Nous Consilience 40B

Nous Consilience 40Bは、インターネット上で分散的にゼロから事前学習された生成型テキストモデルです。このモデルは、500トレーニングステップごとに自動更新され、最新のチェックポイントは進行中の事前学習ダッシュボードからアップロードされます。

🚀 クイックスタート

Nous Consilience 40Bは、インターネット上で分散的にゼロから事前学習された生成型テキストモデルです。このモデルは、500トレーニングステップごとに自動更新され、最新のチェックポイントは進行中の事前学習ダッシュボードからアップロードされます。

詳細については、ブログ記事をご覧ください。

📚 ドキュメント

モデルの詳細

事前学習データセット

トレーニングデータとして、FineWeb (14T)、いくつかのまれな言語を除外したFineWeb-2 (4T)、およびThe Stack V2 (~.2T、1Tトークンにアップサンプリング) を組み合わせました。私たちは、ベンチマーク性能を純粋に向上させることを目的とした、より特殊化された事前学習データセットよりも、これらのデータセットを選択しました。Consilienceの目標は、真の「ベース」モデル、つまり人類の創造的な成果全体を代表するモデルを作ることであり、単にベンチマークゲームで勝つことを目指すのではありません。

さらに、私たちはこのモデルを、最終的なデータの「アニーリング」ステップなしで継続的にトレーニングしています。アニーリングはベースモデルがベンチマークにより正確に応答するのに役立ち、使いやすさを向上させますが、創造性や興味深い振る舞いを制約する可能性があります。私たちの解決策は、生の、アニーリングされていないベースモデルを最初にリリースし、その後にアニーリングされたバージョンをリリースして使いやすさを支援することです。

📄 ライセンス

このモデルは人類の広範かつ多様な創造的成果を代表しているため、私たちはこれをデュアルライセンスでリリースすることにしました。デフォルトではCC0、つまり公共ドメインに供する一方で、帰属表示と保証の否認を伴う寛容な条件を必要とするユーザーにはMITライセンスでの使用も許可します。