Qwen2.5 7B Instruct Qwq Mix R1 Science

🚀 Qwen2.5-7B-Instruct_qwq_mix_r1_science

このモデルは、Qwen/Qwen2.5-7B-Instruct をベースに、mlfoundations - dev/qwq_mix_r1_science データセットでファインチューニングしたバージョンです。

🚀 クイックスタート

クイックスタートに関する内容はまだ提供されていません。モデルの特性と使用シーンに基づき、元のモデル Qwen/Qwen2.5-7B-Instruct の使用説明を参考にして、最初の試みを行ってください。

📚 ドキュメント

訓練と評価データ

詳細情報は後日追加予定です。

訓練過程

訓練ハイパーパラメータ

訓練中に以下のハイパーパラメータが使用されました：

• 学習率（learning_rate）：8e - 05
• 訓練バッチサイズ（train_batch_size）：1
• 評価バッチサイズ（eval_batch_size）：8
• 乱数シード（seed）：42
• 分散タイプ（distributed_type）：マルチ GPU
• デバイス数（num_devices）：512
• 総訓練バッチサイズ（total_train_batch_size）：512
• 総評価バッチサイズ（total_eval_batch_size）：4096
• オプティマイザ（optimizer）：adamw_torch を使用、β1 = 0.9、β2 = 0.999、ε = 1e - 08、追加のオプティマイザパラメータなし
• 学習率スケジューラタイプ（lr_scheduler_type）：コサイン
• 学習率スケジューラウォームアップ比率（lr_scheduler_warmup_ratio）：0.1
• 訓練エポック数（num_epochs）：5.0

訓練結果

詳細情報は後日追加予定です。

フレームワークバージョン

• Transformers 4.46.1
• Pytorch 2.6.0 + cu124
• Datasets 3.1.0
• Tokenizers 0.20.0

📄 ライセンス

ライセンスタイプ：other