Distilbert Base Uncased Finetuned Squad

🚀 distilbert-base-uncased-finetuned-squad

このモデルは、squadデータセットでdistilbert-base-uncasedをファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 1.2248

🚀 クイックスタート

このモデルは、質問応答タスクに特化した事前学習済みモデルです。squadデータセットを用いてファインチューニングされており、特定の質問に対する回答を生成することができます。

📚 ドキュメント

モデルの説明

このモデルは、事前学習済みのdistilbert-base-uncasedモデルをsquadデータセットでファインチューニングしたものです。

想定される用途と制限事項

このモデルは主に質問応答タスクに使用されますが、特定のドメインやデータに対しては性能が低下する可能性があります。

学習と評価データ

このモデルはsquadデータセットを使用して学習および評価されました。

🔧 技術詳細

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 2e-05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 1

学習結果

フレームワークのバージョン

• Transformers 4.17.0
• Pytorch 1.10.0+cu111
• Datasets 1.18.4
• Tokenizers 0.11.6

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。