Distilbert Eco ZeroShot

🚀 零樣本經濟領域蒸餾伯特模型（disitilbert_zeroshot_economics）

本模型是一個基於零樣本分類任務的模型，它是 distilbert-base-uncased 在特定經濟數據集上微調後的版本，可用於經濟領域的零樣本分類任務。

🚀 快速開始

本模型是 distilbert-base-uncased 在未知數據集上的微調版本，可直接用於零樣本分類任務。

📦 安裝指南

文檔未提供具體安裝步驟，暫不展示。

💻 使用示例

文檔未提供代碼示例，暫不展示。

📚 詳細文檔

訓練和評估數據

模型在 teknium/dataforge-economics 數據集上進行零樣本分類任務的訓練。

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：1e-05
• 訓練批次大小（train_batch_size）：32
• 評估批次大小（eval_batch_size）：32
• 隨機種子（seed）：42
• 優化器（optimizer）：Adam，β值為(0.9, 0.999)，ε值為 1e-08
• 學習率調度器類型（lr_scheduler_type）：線性
• 訓練輪數（num_epochs）：5

訓練結果

評估損失（eval loss）：0.0503

框架版本

• Transformers：4.36.0
• Pytorch：2.0.0
• Datasets：2.16.1
• Tokenizers：0.15.0

🔧 技術細節

該模型基於 DistilBERT 架構，在經濟領域的數據集上進行微調，以適應零樣本分類任務。通過調整一系列超參數，如學習率、批次大小等，在訓練過程中不斷優化模型性能。最終在評估任務中取得了 0.0503 的評估損失。

📄 許可證

本模型採用 Apache-2.0 許可證。