Sky T1 32B Flash

🚀 Sky-T1-32B-Flash

Sky-T1-32B-Previewをベースに最適化された32B推論モデルで、精度を維持しながら生成長を大幅に短縮します。

🚀 クイックスタート

このドキュメントでは、Sky-T1-32B-Flashモデルの詳細、学習情報、評価結果などについて説明します。

✨ 主な機能

• Sky-T1-32B-Previewをベースに最適化され、精度を維持しながら生成長を最大57%短縮。
• 数学とコーディングの両方でo1-previewモデルと同等の性能を発揮。

📚 ドキュメント

🔍 モデル詳細

モデル説明

これは、Sky-T1-32B-Previewをベースに最適化された32B推論モデルで、精度を維持しながら生成長を大幅に短縮します。数学とコーディングの両方でo1-previewモデルと同等の性能を発揮し、Sky-T1-32B-Previewに比べて生成長を最大57%短縮します。詳細については、ブログ記事を参照してください。

• 開発者: カリフォルニア大学バークレー校のSky Computing LabのNovaSkyチーム

🔧 学習詳細

学習データ

Sky-T1-32B-Previewによって生成された、数学とコーディング領域の10Kの嗜好ペア。

学習手順

バッチサイズ96、学習率5e-7、ガンマ0.3、ベータ2.0でSimple Policy Optimization (SimPO)を実行します。

速度

学習にはLlama-Factoryを使用します。8xH100で、DeepSpeed Zero-3 Offloadを使用したSimPO学習には約2.5時間かかります。

📊 評価

🙏 謝辞

Lambda Lab と AnyScale からの計算リソースに感謝します。

📄 ライセンス

Apache-2.0

📖 引用

このブログ記事があなたの研究に役立った場合は、引用を検討してください。ありがとうございます！

@misc{reduce_overthinking_2025,
  author       = {NovaSky Team},
  title        = {Think Less, Achieve More: Cut Reasoning Costs by 50% Without Sacrificing Accuracy},
  howpublished = {https://novasky-ai.github.io/posts/reduce-overthinking},
  note         = {Accessed: 2025-01-23},
  year         = {2025}
}

📋 その他情報