Longformer Base 4096 Bible

🚀 longformer-base-4096-bible

本模型是一個基於allenai/longformer-base-4096微調的模型，可用於預測聖經章節的相關性，相關性範圍為1到5。它在評估集上取得了優異的成績，具有較高的預測精度。

🚀 快速開始

本模型可直接用於預測聖經文本的相關性，相關性範圍為1到5。使用時需針對每個查詢分別進行微調。

✨ 主要特性

• 精準預測：在評估集上，損失僅為0.0001，宏平均精度達到1.0，加權平均精度為1.0000。
• 針對性微調：可針對每個查詢分別進行微調，以適應不同的應用場景。

📦 安裝指南

文檔未提及安裝步驟，若有需要可參考transformers庫的官方安裝指南。

📚 詳細文檔

模型描述

對allenai/longformer-base-4096模型進行微調，以預測聖經章節的相關性，相關性範圍為1到5。

預期用途與限制

• 用途：預測聖經文本的相關性，相關性範圍為1到5。
• 限制：需要針對每個查詢分別進行微調。

訓練和評估數據

訓練和評估數據包含一個查詢、章節ID、章節名稱、章節文本和相關性標籤。

訓練過程

模型訓練了12個epoch，學習率採用餘弦退火策略進行調整，有2次重啟和4個epoch的預熱。

訓練超參數

訓練過程中使用了以下超參數：

訓練結果

框架版本

• Transformers 4.50.3
• Pytorch 2.6.0+cu124
• Datasets 2.18.0
• Tokenizers 0.21.1

📄 許可證

本模型採用apache-2.0許可證。