Quietstar 8 Ahead

🚀 Mistral-7b 日本語版

このプロジェクトは、Quiet-STaR（https://arxiv.org/abs/2403.09629）を用いて継続事前学習を行ったMistral-7bモデルです。各出力トークンの前に8つの思考トークンを生成することができます。

📚 詳細ドキュメント

データセット

事前学習手法

Mistral-7bは、Quiet-STaR（https://arxiv.org/abs/2403.09629）を用いて継続事前学習が行われています。この手法により、各出力トークンの前に8つの思考トークンを生成することが可能です。