Distilbert Base Cased Finetuned Squadv2

🚀 distilbert-base-cased-finetuned-squadv

該模型是基於squad_v2數據集對monakth/distilbert-base-cased-finetuned-squad進行微調後的版本，可用於特定的問答任務。

🚀 快速開始

該模型是在squad_v2數據集上對monakth/distilbert-base-cased-finetuned-squad進行微調得到的。

🔧 技術細節

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：2e - 05
• 訓練批次大小（train_batch_size）：32
• 評估批次大小（eval_batch_size）：32
• 隨機種子（seed）：42
• 優化器（optimizer）：Adam，其中betas=(0.9, 0.999)，epsilon = 1e - 08
• 學習率調度器類型（lr_scheduler_type）：線性
• 訓練輪數（num_epochs）：3

框架版本

• Transformers 4.20.1
• Pytorch 1.11.0
• Datasets 2.1.0
• Tokenizers 0.12.1

📄 許可證

本項目採用Apache-2.0許可證。