Roberta Base Rotten Tomatoes

🚀 roberta-base - rotten_tomatoesデータセットでTextAttackを用いてファインチューニング

このroberta-baseモデルは、nlpライブラリを使用してロードしたrotten_tomatoesデータセットとTextAttackを用いて、シーケンス分類のためにファインチューニングされました。モデルは、バッチサイズ128、学習率5e-05、最大シーケンス長128で10エポック間ファインチューニングされました。これは分類タスクであったため、モデルは交差エントロピー損失関数を用いて訓練されました。このタスクでモデルが達成した最高スコアは、評価セットの正解率で測定した場合、9エポック後に0.9033771106941839でした。

詳細については、GitHub上のTextAttackを参照してください。