Distilbert Sst2

🚀 distilbert - sst2

このモデルは、glueデータセットでdistilbert - base - uncasedをファインチューニングしたバージョンで、評価セットで良好な結果を得ています。

🚀 クイックスタート

このモデルは、glueデータセットを使用してdistilbert - base - uncasedをファインチューニングしたものです。評価セットでは以下の結果を達成しています：

• 評価損失（eval_loss）：0.4182
• 評価正解率（eval_accuracy）：0.8911
• 評価実行時間（eval_runtime）：1.8021
• 毎秒の評価サンプル数（eval_samples_per_second）：483.882
• 毎秒の評価ステップ数（eval_steps_per_second）：60.485
• 訓練エポック数（epoch）：0.8
• 訓練ステップ数（step）：6700

📚 ドキュメント

訓練ハイパーパラメータ

訓練中に以下のハイパーパラメータが使用されました：

• 学習率（learning_rate）：5e - 05
• 訓練バッチサイズ（train_batch_size）：8
• 評価バッチサイズ（eval_batch_size）：8
• 乱数シード（seed）：42
• オプティマイザ（optimizer）：Adam（betas = (0.9, 0.999)、epsilon = 1e - 08）
• 学習率スケジューラのタイプ（lr_scheduler_type）：線形
• 訓練エポック数（num_epochs）：3.0

フレームワークバージョン

• Transformers：4.15.0
• Pytorch：1.10.1
• Datasets：1.17.0
• Tokenizers：0.10.3

📄 ライセンス

このプロジェクトはApache - 2.0ライセンスの下で提供されています。