Distilbert Qasports

🚀 distilbert-qasports

このモデルは、自然言語処理タスクにおける質問応答性能を向上させるために、distilbert-base-uncased-distilled-squad を微調整したバージョンです。評価セットでは、以下のような良好な結果を達成しています。

🚀 クイックスタート

このモデルは、distilbert-base-uncased-distilled-squad をNoneデータセットで微調整したものです。評価セットでは、以下の結果を達成しています。

• 損失: 0.4019
• 完全一致率: 76.8699
• F1スコア: 81.3261
• 総数: 15041
• Hasans完全一致率: 76.8699
• Hasans F1スコア: 81.3261
• Hasans総数: 15041
• 最高完全一致率: 76.8699
• 最高完全一致率閾値: 0.0
• 最高F1スコア: 81.3261
• 最高F1スコア閾値: 0.0

📚 ドキュメント

モデルの説明

詳細情報は後日追加予定です。

想定される使用目的と制限

詳細情報は後日追加予定です。

学習と評価データ

詳細情報は後日追加予定です。

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 1e-05
• 学習バッチサイズ: 16
• 評価バッチサイズ: 16
• シード: 42
• 勾配蓄積ステップ: 2
• 総学習バッチサイズ: 32
• オプティマイザ: betas=(0.9,0.999) かつ epsilon=1e-08 の adamw_torch を使用。追加のオプティマイザ引数はありません。
• 学習率スケジューラのタイプ: 線形
• エポック数: 50
• 混合精度学習: Native AMP

学習結果

フレームワークバージョン

• Transformers 4.48.3
• Pytorch 2.6.0+cu124
• Datasets 3.2.0
• Tokenizers 0.21.0

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。