Bert Sdg Classification

🚀 bert-sdg-classification

このモデルは、google-bert/bert-base-uncased を未知のデータセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.7055
• F1: 0.7980

🚀 クイックスタート

このモデルは、テキスト分類のタスクに使用できます。以下に、評価セットでの結果を示します。

📚 ドキュメント

モデルの概要

このモデルは、google-bert/bert-base-uncased をファインチューニングしたもので、未知のデータセットを使用して訓練されています。

想定される用途と制限事項

詳細な情報はまだ提供されていません。

訓練と評価データ

詳細な情報はまだ提供されていません。

訓練手順

訓練ハイパーパラメータ

訓練中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 1e-05
• 訓練バッチサイズ: 64
• 評価バッチサイズ: 64
• シード: 42
• オプティマイザ: betas=(0.9,0.999) と epsilon=1e-08 の adamw_torch を使用。追加のオプティマイザ引数はありません。
• 学習率スケジューラタイプ: 線形
• 学習率スケジューラウォームアップステップ: 600
• エポック数: 5.0
• 混合精度訓練: Native AMP

訓練結果

フレームワークバージョン

• Transformers 4.49.0.dev0
• Pytorch 2.1.2.post304
• Datasets 3.2.0
• Tokenizers 0.21.0

📄 ライセンス

このモデルは、Apache-2.0 ライセンスの下で提供されています。