ALP DeepScaleR 1.5B C16K

🚀 ALP_DeepScaleR_1.5B_C16K

ALP_DeepScaleR_1.5B_C16Kは、DeepScaleR - 1.5Bモデルをベースに、適応的長さペナルティ（ALP）手法を用いて訓練されたモデルです。このモデルは、性能を維持しながら、トークン使用量を約50％削減し、効率を大幅に向上させます。

🚀 クイックスタート

ALP_DeepScaleR_1.5B_C16Kは、DeepScaleR - 1.5Bモデルに基づいており、適応的長さペナルティ（ALP）手法を用いて訓練されています。これにより、性能を維持しながらトークン使用量を約50％削減することができ、効率が向上します。

✨ 主な機能

• タグ：推論、数学、強化学習などの分野をカバーしています。
• データセット：AIME、AMC、Omni - Mathなどのデータセットを使用して訓練されています。
• ベースモデル：DeepScaleR - 1.5Bモデルをベースに構築されています。

📦 インストール

原文書にインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

prompt = f"{problem} Let's think step by step and output the final answer within \\boxed{{}}."

📚 ドキュメント

訓練の詳細

• 訓練ステップ：100ステップのGRPO訓練を行い、バッチサイズは512、学習率は1e - 6、β = 1e - 7です。
• 難易度推定：各プロンプトについて16回のロールアウトを行い、難易度を推定します。
• コンテキストウィンドウ：16Kのコンテキストウィンドウをサポートしています。

性能指標（Pass@1）

トークン使用状況

🔧 技術詳細

原文書に十分な技術詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

このプロジェクトは、Apache - 2.0ライセンスの下で提供されています。