Fnet Base Finetuned Sst2

🚀 fnet-base-finetuned-sst2

このモデルは、GLUE SST2データセットでgoogle/fnet-baseをファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.4674
• 正解率: 0.8945

このモデルは、この論文で紹介されたgoogle/fnet-baseをbert-base-casedと比較するためにファインチューニングされました。

🚀 クイックスタート

このモデルは、run_glueスクリプトを使用して学習されました。以下のコマンドが使用されました。

#!/usr/bin/bash

python ../run_glue.py \\n  --model_name_or_path google/fnet-base \\n  --task_name sst2 \\n  --do_train \\n  --do_eval \\n  --max_seq_length 512 \\n  --per_device_train_batch_size 16 \\n  --learning_rate 2e-5 \\n  --num_train_epochs 3 \\n  --output_dir fnet-base-finetuned-sst2 \\n  --push_to_hub \\n  --hub_strategy all_checkpoints \\n  --logging_strategy epoch \\n  --save_strategy epoch \\n  --evaluation_strategy epoch \\n

📚 ドキュメント

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• 学習率: 2e-05
• 学習バッチサイズ: 16
• 評価バッチサイズ: 8
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: linear
• エポック数: 3.0

学習結果

フレームワークのバージョン

• Transformers 4.11.0.dev0
• Pytorch 1.9.0
• Datasets 1.12.1
• Tokenizers 0.10.3

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。