Consilience 40b CqX3FUm4

🚀 Nous Consilience 40B

Nous Consilience 40Bは、インターネット上で分散的にゼロから事前学習された生成型テキストモデルです。このモデルは、500トレーニングステップごとに自動更新され、最新のチェックポイントは進行中の事前学習ダッシュボードからアップロードされます。

🚀 クイックスタート

Nous Consilience 40Bは、インターネット上で分散的にゼロから事前学習された生成型テキストモデルです。このモデルは、500トレーニングステップごとに自動更新され、最新のチェックポイントは進行中の事前学習ダッシュボードからアップロードされます。

詳細については、ブログ記事をご覧ください。

📚 ドキュメント

モデルの詳細

事前学習データセット

トレーニングデータとして、FineWeb (14T)、あまり一般的でない言語を削除したFineWeb-2 (4T)、およびThe Stack V2 (~.2T、1Tトークンにアップサンプリング) を組み合わせました。私たちは、ベンチマーク性能を純粋に向上させることを目的とした、より特殊化された事前学習データセットよりも、これらのデータセットを選択しました。Consilienceの目標は、真の「ベース」モデル、つまり人類の創造的な成果全体を代表するモデルを作ることであり、単にベンチマークゲームで勝つことを目指すのではありません。

さらに、私たちはこのモデルを、最終的なデータ「アニーリング」ステップなしで継続的にトレーニングしています。アニーリングはベースモデルがベンチマークにより正確に応答するのを助け、使いやすさを向上させますが、潜在的に創造性や興味深い振る舞いを制約する可能性があります。私たちの解決策は、両方のバージョンをリリースすることです。まずは生の、アニーリングされていないベースモデルをリリースし、次にアニーリングされたバージョンをリリースして使いやすさを支援します。

📄 ライセンス

このモデルは人類の膨大で多様な創造的成果を代表しているため、私たちはデュアルライセンスの下でこのモデルをリリースすることにしました。デフォルトではCC0、つまり公共ドメインに供する一方で、帰属表示と保証の否認を伴う寛容な条件を必要とするユーザーにはMITライセンスの下での使用も許可します。