Distilbert Qasports

🚀 distilbert - qasports

本模型是基於自然語言處理的問答模型，它在預訓練模型基礎上進行微調，能夠在問答任務中取得較好的評估指標成績，為問答相關應用提供支持。

🚀 快速開始

此模型是 distilbert - base - uncased - distilled - squad 在 None 數據集上的微調版本。它在評估集上取得了以下結果：

• 損失值：0.4019
• 精確率：76.8699
• F1值：81.3261
• 總數：15041
• Hasans精確率：76.8699
• Hasans F1值：81.3261
• Hasans總數：15041
• 最佳精確率：76.8699
• 最佳精確率閾值：0.0
• 最佳F1值：81.3261
• 最佳F1值閾值：0.0

📚 詳細文檔

模型描述

待補充更多信息。

預期用途與限制

待補充更多信息。

訓練和評估數據

待補充更多信息。

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：1e - 05
• 訓練批次大小：16
• 評估批次大小：16
• 隨機種子：42
• 梯度累積步數：2
• 總訓練批次大小：32
• 優化器：使用adamw_torch，其中betas = (0.9, 0.999)，epsilon = 1e - 08，無額外優化器參數
• 學習率調度器類型：線性
• 訓練輪數：50
• 混合精度訓練：原生自動混合精度（Native AMP）

訓練結果

框架版本

• Transformers 4.48.3
• Pytorch 2.6.0 + cu124
• Datasets 3.2.0
• Tokenizers 0.21.0

📄 許可證

本項目採用Apache 2.0許可證。