Zk1 QA VN Test2

🚀 Zk1-QA-VN-test2

Zk1-QA-VN-test2 是基於 ZycckZ/Zk1-QA-VN-test 微調而來的模型，在問答任務上表現出色，可用於構建越南語問答系統。

🚀 快速開始

Zk1-QA-VN-test2 模型是 ZycckZ/Zk1-QA-VN-test 的微調版本，使用了 taidng/UIT-ViQuAD2 數據集進行訓練。

該模型在評估集上取得了以下結果：

• 損失值（Loss）：1.8800
• 精確匹配率（Exact Match, EM）：70.07
• F1 分數：82.34

✨ 主要特性

• 相比之前的模型 ZycckZ/Zk1-QA-VN-test 有顯著提升。
• 可用於創建簡單的問答聊天機器人。
• 專為越南語問答系統設計。

🔧 技術細節

訓練和評估數據

• 訓練數據：
  • taidng/UIT-ViQuAD2.0 - "train"
  • taidng/UIT-ViQuAD2.0 - "validation"
  • taidng/UIT-ViQuAD2.0 - "test"
• 評估數據：
  • taidng/UIT-ViQuAD2.0 - "validation"

訓練過程

基於 HuggingFace 的問答框架進行訓練。

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：2e-05
• 訓練批次大小（train_batch_size）：16
• 評估批次大小（eval_batch_size）：16
• 隨機種子（seed）：42
• 優化器（optimizer）：使用 OptimizerNames.ADAMW_TORCH，β1=0.9，β2=0.999，ε=1e-08，無額外優化器參數
• 學習率調度器類型（lr_scheduler_type）：線性
• 訓練輪數（num_epochs）：5

訓練結果

框架版本

• Transformers：4.52.2
• Pytorch：2.6.0+cu124
• Datasets：2.14.4
• Tokenizers：0.21.1

📄 許可證

本模型採用 CC BY-SA 4.0 許可證。