Bert Paper Classifier Arxiv

🚀 bert-paper-classifier

本模型是 microsoft/BiomedNLP-PubMedBERT-base-uncased-abstract 在 數據集 上的微調版本，該數據集包含來自 arXiv 的論文標題和摘要。此模型可根據論文標題（可選地結合摘要）預測論文所屬類別，在數學、計算機科學、物理學等領域具有重要應用價值。

✨ 主要特性

• 基於預訓練的 BiomedNLP-PubMedBERT 模型進行微調，能有效利用預訓練模型的知識。
• 可根據論文標題和摘要預測 arXiv 分類術語，適用於多個學科領域的論文分類。

📚 詳細文檔

預期用途與限制

本模型旨在根據論文標題（可選地結合摘要）預測 arXiv 分類術語，適用於數學、計算機科學、物理學等領域的論文。例如，對於 原始 Transformer 論文，它很可能會預測 cs.CL（計算與語言）為最可能的類別。

訓練過程

模型微調的代碼可在 相應的筆記本 中找到。

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：5e-05
• 訓練批次大小（train_batch_size）：128
• 評估批次大小（eval_batch_size）：32
• 隨機種子（seed）：42
• 優化器（optimizer）：Adam，β1=0.9，β2=0.999，ε=1e-08
• 學習率調度器類型（lr_scheduler_type）：線性
• 訓練輪數（num_epochs）：3

框架版本

• Transformers：4.28.1
• Pytorch：2.0.0+cu117
• Datasets：2.11.0
• Tokenizers：0.13.3

📄 許可證

本項目採用 MIT 許可證。