Distilbert Token Itr0 0.0001 Editorials 01 03 2022 15 20 12

🚀 distilBERT_token_itr0_0.0001_editorials_01_03_2022-15_20_12

このモデルは、bert-base-uncased をNoneデータセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.1290
• 適合率: 0.0637
• 再現率: 0.0080
• F1値: 0.0141
• 正解率: 0.9707

🚀 クイックスタート

このモデルは、特定のタスクに対して事前学習された bert-base-uncased をファインチューニングしたものです。評価セットでの結果を見ることで、その性能を確認できます。

📚 ドキュメント

モデルの説明

このモデルに関する詳細情報は、今後追加予定です。

想定される用途と制限

このモデルの想定される用途と制限に関する詳細情報は、今後追加予定です。

学習と評価データ

学習と評価に使用されたデータに関する詳細情報は、今後追加予定です。

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 0.0001
• 学習バッチサイズ: 32
• 評価バッチサイズ: 32
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: linear
• エポック数: 5

学習結果

フレームワークのバージョン

• Transformers 4.15.0
• Pytorch 1.10.1+cu113
• Datasets 1.18.0
• Tokenizers 0.10.3

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。