Distilgpt2 Finetuned

🚀 distilgpt2-finetuned

このモデルは、distilgpt2 を未知のデータセットでファインチューニングしたバージョンです。特定のシーンにおけるテキスト生成などのタスクに使用でき、関連するアプリケーションにより適した言語処理能力を提供します。

🚀 クイックスタート

クイックスタートに関する内容はまだ提供されていません。後日追加される可能性があります。

📄 ライセンス

このプロジェクトは Apache-2.0 ライセンスを採用しています。

📚 ドキュメント

モデルの説明

詳細情報は後日追加予定です。

想定される用途と制限

詳細情報は後日追加予定です。

訓練と評価データ

詳細情報は後日追加予定です。

訓練過程

訓練ハイパーパラメータ

訓練中に以下のハイパーパラメータが使用されました。

• 学習率（learning_rate）：5e-05
• 訓練バッチサイズ（train_batch_size）：32
• 評価バッチサイズ（eval_batch_size）：32
• 乱数シード（seed）：42
• オプティマイザ（optimizer）：Adam、β 値は (0.9, 0.999)、ε 値は 1e-08
• 学習率スケジューラのタイプ（lr_scheduler_type）：線形
• 学習率スケジューラのウォームアップステップ数（lr_scheduler_warmup_steps）：500
• 訓練エポック数（num_epochs）：3

訓練結果

訓練結果に関する内容はまだ提供されていません。後日追加される可能性があります。

フレームワークのバージョン

• Transformers 4.15.0
• Pytorch 1.10.0+cu111
• Datasets 1.17.0
• Tokenizers 0.10.3