Tiny Bert Sst2 Distilled

🚀 tiny-bert-sst2-distilled

このモデルは、glueデータセット上でgoogle/bert_uncased_L-2_H-128_A-2を微調整したバージョンで、テキスト分類タスクに使用でき、評価セットで良好な正解率を達成しています。

🚀 クイックスタート

このモデルは、google/bert_uncased_L-2_H-128_A-2をglueデータセット上で微調整したもので、評価セットで以下の結果を得ています。

• 損失値：1.7305
• 正解率：0.8326

🔧 技術詳細

学習ハイパーパラメータ

学習過程では、以下のハイパーパラメータを使用しました。

• 学習率：0.0007199555649276667
• 学習バッチサイズ：1024
• 評価バッチサイズ：1024
• 乱数シード：33
• オプティマイザ：Adam，β=(0.9, 0.999)，ε=1e - 08
• 学習率スケジューラータイプ：線形
• 学習エポック数：7
• 混合精度学習：Native AMP

学習結果

フレームワークバージョン

• Transformers 4.12.3
• Pytorch 1.9.1
• Datasets 1.15.1
• Tokenizers 0.10.3

📄 ライセンス

このモデルは、Apache - 2.0ライセンスを採用しています。

📋 モデル情報

このモデルは、テキスト分類タスクで一定の性能を発揮します。具体的な情報は、上述の学習詳細と評価結果を参照してください。