Fnet Base Finetuned Qqp

🚀 fnet-base-finetuned-qqp

このモデルは、GLUE QQPデータセットでgoogle/fnet-baseをファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.3686
• 正解率: 0.8847
• F1スコア: 0.8466
• 総合スコア: 0.8657

このモデルは、この論文で紹介されているgoogle/fnet-baseをbert-base-casedと比較するためにファインチューニングされました。

🚀 クイックスタート

このセクションでは、モデルを使い始めるための基本的な手順を説明します。

✨ 主な機能

• このモデルは、GLUE QQPデータセットでファインチューニングされており、テキスト分類タスクに適しています。
• 正解率やF1スコアなどの評価指標で高い性能を示しています。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコマンドを使用して、トレーニングに使用されたスクリプトを実行できます。

#!/usr/bin/bash

python ../run_glue.py \
  --model_name_or_path google/fnet-base \
  --task_name qqp \
  --do_train \
  --do_eval \
  --max_seq_length 512 \
  --per_device_train_batch_size 16 \
  --learning_rate 2e-5 \
  --num_train_epochs 3 \
  --output_dir fnet-base-finetuned-qqp \
  --push_to_hub \
  --hub_strategy all_checkpoints \
  --logging_strategy epoch \
  --save_strategy epoch \
  --evaluation_strategy epoch

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

トレーニング結果

トレーニングの結果は以下の表にまとめられています。

フレームワークバージョン

• Transformers 4.11.0.dev0
• Pytorch 1.9.0
• Datasets 1.12.1
• Tokenizers 0.10.3

📚 ドキュメント

モデル情報

モデルの意図された使用法と制限

このモデルは、GLUE QQPデータセットに基づくテキスト分類タスクに特化しています。他のタスクやデータセットでの性能は保証されません。

トレーニングと評価データ

このモデルはGLUE QQPデータセットを使用してトレーニングおよび評価されました。

トレーニング手順

このモデルは、run_glueスクリプトを使用してトレーニングされました。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。