Modernbert Base Is New Arxiv Dataset

🚀 Transformers

このモデルは、answerdotai/ModernBERT-base を davanstrien/arxiv-new-datasets データセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.3220
• 正解率: 0.945
• F1値: 0.9439

📚 ドキュメント

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 3e-05
• トレーニングバッチサイズ: 8
• 評価バッチサイズ: 64
• シード: 42
• オプティマイザ: betas=(0.9,0.999)、epsilon=1e-08、追加のオプティマイザ引数なしで OptimizerNames.ADAMW_TORCH を使用
• 学習率スケジューラの種類: cosine
• 学習率スケジューラのウォームアップ率: 0.1
• エポック数: 30
• ラベルスムージング係数: 0.1

トレーニング結果

フレームワークバージョン

• Transformers 4.48.2
• Pytorch 2.6.0+cu124
• Datasets 3.2.0
• Tokenizers 0.21.0

📄 ライセンス

このライブラリは Apache-2.0 ライセンスの下で提供されています。