Albert Base V2 Fakenews Discriminator

🚀 albert-base-v2-fakenews-discriminator

本項目是一個虛假新聞判別模型，基於albert-base-v2微調而來。它利用標題和標籤進行訓練，能有效區分真假新聞，在評估集上取得了較高的準確率。

🚀 快速開始

本README未提供快速開始相關內容，可根據模型使用需求，參考相關庫（如Transformers）的文檔進行模型加載和使用。

✨ 主要特性

• 基於albert-base-v2進行微調，能有效判別新聞的真假。
• 在評估集上取得了Loss為0.0910，Accuracy為0.9758的良好結果。

📚 詳細文檔

數據集

使用的數據集為 Fake and real news dataset，訓練時使用標題和標籤。標籤含義如下：

• label_0 : 虛假新聞
• label_1 : 真實新聞

模型評估結果

該模型在評估集上的表現如下：

• Loss: 0.0910
• Accuracy: 0.9758

訓練過程

訓練超參數

訓練過程中使用的超參數如下：

• learning_rate: 5e-05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 1

訓練結果

框架版本

• Transformers 4.12.3
• Pytorch 1.10.0+cu111
• Datasets 1.15.1
• Tokenizers 0.10.3

📄 許可證

本模型使用的許可證為 Apache-2.0。