Fake News Classification Distilbert Fine Tuned

🚀 フェイクニュース分類用DistilBERT微調整モデル

このモデルは、distilbert-base-uncased を未知のデータセットで微調整したバージョンです。評価セットでは以下の結果を達成しています。

✨ 主な機能

このモデルは、フェイクニュースの分類タスクに特化しており、DistilBERTベースモデルを微調整することで高精度な分類を実現します。

📦 インストール

このモデルは transformers ライブラリを使用しています。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

モデルアーキテクチャ

• ベースモデル: TFDistilBertForSequenceClassification
• ラベル数: 2
• フレームワーク: TensorFlow with Hugging Face Transformers

トレーニング設定

• オプティマイザ: Adam
• 学習率: 0.001
• 損失関数: Sparse Categorical Crossentropy
• エポック数: 3
• バッチサイズ: 8
• データ分割:
  • データセットはKaggleのフェイクニュース検出ファイル（“True.csv” と “Fake.csv”）からロードされました。
  • (注: ノートブック内部でトレーニング/検証/テストデータの分割が行われます。)

性能指標

微調整後、モデルは以下の評価結果を達成しました（トレーニング中に記録されたもの）。

• トレーニング精度: ~99.5%
• 検証精度: ~99.8%
• テスト精度: ~99.7%

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• オプティマイザ: {'name': 'Adam', 'weight_decay': None, 'clipnorm': None, 'global_clipnorm': None, 'clipvalue': None, 'use_ema': False, 'ema_momentum': 0.99, 'ema_overwrite_frequency': None, 'jit_compile': True, 'is_legacy_optimizer': False, 'learning_rate': 0.001, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False}
• トレーニング精度: float32

フレームワークバージョン

• Transformers 4.48.3
• TensorFlow 2.18.0
• Tokenizers 0.21.0

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。