Roberta Base Few Shot K 128 Finetuned Squad Seed 42

🚀 roberta-base-few-shot-k-128-finetuned-squad-seed-42

このモデルは、roberta-base を squad データセットでファインチューニングしたバージョンで、関連する自然言語処理タスクに使用できます。

🚀 クイックスタート

このモデルは、roberta-base を squad データセットでファインチューニングして得られたもので、質問応答などの自然言語処理タスクに使用できます。

📚 ドキュメント

モデルの説明

このモデルは、roberta-base を squad データセットでファインチューニングしたバージョンです。

訓練過程

訓練ハイパーパラメータ

訓練中に以下のハイパーパラメータが使用されました。

• 学習率（learning_rate）：3e-05
• 訓練バッチサイズ（train_batch_size）：16
• 評価バッチサイズ（eval_batch_size）：16
• 乱数シード（seed）：42
• オプティマイザ（optimizer）：Adam（betas=(0.9, 0.999)、epsilon=1e-08）
• 学習率スケジューラのタイプ（lr_scheduler_type）：線形
• 学習率スケジューラのウォームアップ割合（lr_scheduler_warmup_ratio）：0.1
• 訓練ステップ数（training_steps）：200

訓練結果

訓練結果は以下の通りです。

• 完全一致率（exact_match）：39.04446546830653
• F1 スコア（f1）：49.90230650794353

フレームワークのバージョン

• Transformers：4.16.2
• Pytorch：1.10.0+cu111
• Datasets：1.18.3
• Tokenizers：0.11.0

📄 ライセンス

このプロジェクトは MIT ライセンスの下で提供されています。