Self Biorag 7b Olaph

🚀 selfbiorag-7b-wo-kqa_golden-iter-dpo-step4-filtered

本模型是基於HuggingFace MedLFQA（不含kqa_golden）數據集，對 Minbyul/selfbiorag-7b-wo-kqa_golden-iter-dpo-step3-filtered 進行微調後的版本。該模型在評估集上取得了以下結果：

• 損失值：0.6766
• 選中樣本獎勵：-0.0828
• 拒絕樣本獎勵：-0.1144
• 獎勵準確率：0.6319
• 獎勵差距：0.0316
• 拒絕樣本對數概率：-98.9601
• 選中樣本對數概率：-79.1920
• 拒絕樣本對數幾率：-1.2073
• 選中樣本對數幾率：-1.1930

📚 詳細文檔

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

框架版本

• Transformers 4.39.0.dev0
• Pytorch 2.1.2
• Datasets 2.14.6
• Tokenizers 0.15.2