Distilbert Base Uncased Finetuned Cola

🚀 distilbert-base-uncased-finetuned-cola

このモデルは、glueデータセットでdistilbert-base-uncasedをファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.8657
• マシューズ相関係数: 0.5472

🚀 クイックスタート

このモデルは、glueデータセット上でdistilbert-base-uncasedをファインチューニングしたもので、テキスト分類タスクに使用できます。

🔧 技術詳細

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 2e-05
• 学習バッチサイズ: 16
• 評価バッチサイズ: 16
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: 線形
• エポック数: 5

学習結果

フレームワークのバージョン

• Transformers 4.12.3
• Pytorch 1.9.0+cu111
• Datasets 1.15.1
• Tokenizers 0.10.3

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📋 モデル情報