Bert Base Cased Finetuned Sst2

🚀 bert-base-cased-finetuned-sst2

このモデルは、bert-base-cased をGLUE SST2データセットでファインチューニングしたバージョンです。評価セットでは、以下の結果を達成しています。

• 損失値：0.3649
• 正解率：0.9232

このモデルは、google/fnet-base（この論文 で説明されている）と bert-base-cased を比較するためにファインチューニングされています。

🚀 クイックスタート

このモデルは、bert-base-cased をGLUE SST2データセットでファインチューニングして得られたものです。このモデルをテキスト分類タスクに使用する場合は、以下のトレーニング手順を参考にしてください。

📦 インストール

このモデルは、run_glue スクリプトを使用してトレーニングされます。以下のコマンドを使用してトレーニングを行います。

#!/usr/bin/bash

python ../run_glue.py \
  --model_name_or_path bert-base-cased \
  --task_name sst2 \
  --do_train \
  --do_eval \
  --max_seq_length 512 \
  --per_device_train_batch_size 16 \
  --learning_rate 2e-5 \
  --num_train_epochs 3 \
  --output_dir bert-base-cased-finetuned-sst2 \
  --push_to_hub \
  --hub_strategy all_checkpoints \
  --logging_strategy epoch \
  --save_strategy epoch \
  --evaluation_strategy epoch

トレーニングのハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました。

• 学習率：2e-05
• トレーニングバッチサイズ：16
• 評価バッチサイズ：8
• 乱数シード：42
• オプティマイザ：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 学習率スケジューラのタイプ：線形
• トレーニングエポック数：3.0

トレーニング結果

フレームワークのバージョン

• Transformers 4.11.0.dev0
• Pytorch 1.9.0
• Datasets 1.12.1
• Tokenizers 0.10.3

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。

📚 ドキュメント

モデル情報

モデルインデックス

• 名前：bert-base-cased-finetuned-sst2
• 結果：
  • タスク：
    • 名前：テキスト分類
    • タイプ：テキスト分類
  • データセット：
    • 名前：GLUE SST2
    • タイプ：glue
    • パラメータ：sst2
  • 評価指標：
    • 名前：正解率
    • タイプ：正解率
    • 値：0.9231651376146789