Bert Base Uncased Finetuned Advanced Srl Arg

🚀 bert-base-uncased-finetuned-advanced-srl_arg

このモデルは、英語のUniversal Propbankデータセットを用いてSemantics Role Labeling (SRL)タスクに関してbert-base-uncasedをファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.0914
• 適合率: 0.8664
• 再現率: 0.8673
• F1値: 0.8669
• 正解率: 0.9812

📚 ドキュメント

モデルの説明

この高度なSRLモデルは、NegBERT (Khandelwal, et al. 2020)で説明されているAugment手法と同様のアプローチを使用しています。つまり、述語の直前に特殊トークン ([V]) を追加するというものです。

This [V] is a sentence.

なお、特殊トークンと述語は一体として扱われます。つまり、実際の文は次のようになります。

'This' '[V] is' 'a' 'sentence' '.'

使用方法

このモデルは、入力文に対して意味役割をラベル付けします。使用例については、https://github.com/dannashao/bertsrl/blob/main/Evaluation.ipynb を参照してください。

学習と評価データ

英語のUniversal Proposition Bank v1.0データを使用しています。詳細はhttps://github.com/UniversalPropositions/UP-1.0 を参照してください。

学習手順

詳細はhttps://github.com/chuqiaog/Advanced_NLP_group_1/blob/main/A3/A3_main.ipynb を参照してください。

学習ハイパーパラメータ

学習時には以下のハイパーパラメータが使用されました。

• 学習率: 2e-05
• 学習バッチサイズ: 16
• 評価バッチサイズ: 16
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラーの種類: linear
• エポック数: 3

学習結果

フレームワークのバージョン

• Transformers 4.37.0
• Pytorch 2.0.1+cu117
• Datasets 2.16.1
• Tokenizers 0.15.1

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。