Bert Large Uncased Whole Word Masking Squad2 With Ner Mit Restaurant With Neg With Repeat

🚀 bert-large-uncased-whole-word-masking-squad2-with-ner-mit-restaurant-with-neg-with-repeat

このモデルは、deepset/bert-large-uncased-whole-word-masking-squad2をsquad_v2とmit_restaurantデータセットでファインチューニングしたバージョンで、特定のトークン分類タスクに使用できます。

🚀 クイックスタート

このモデルは特定のトークン分類タスクに使用できる、ファインチューニング済みのモデルです。以下の詳細ドキュメントを参照して、モデルの情報や学習過程を確認してください。

📚 ドキュメント

モデル情報

学習過程

学習ハイパーパラメータ

学習過程では以下のハイパーパラメータが使用されました：

• 学習率（learning_rate）：2e-05
• 学習バッチサイズ（train_batch_size）：1
• 評価バッチサイズ（eval_batch_size）：1
• 乱数シード（seed）：42
• 勾配累積ステップ数（gradient_accumulation_steps）：16
• 総学習バッチサイズ（total_train_batch_size）：16
• オプティマイザ（optimizer）：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 学習率スケジューラタイプ（lr_scheduler_type）：線形
• 学習エポック数（num_epochs）：5

フレームワークバージョン

• Transformers：4.8.2
• Pytorch：1.8.1+cu111
• Datasets：1.8.0
• Tokenizers：0.10.3

📄 ライセンス

このモデルはCC BY 4.0ライセンスで提供されています。