Transformers Qa

🚀 Hugging Face TransformersとKerasを用いた質問応答 🤗❤️

このモデルは、SQuADデータセットでdistilbert-base-casedをファインチューニングしたものです。 評価セットでは以下の結果を達成しています。

• 訓練損失: 0.9300
• 検証損失: 1.1437
• エポック: 1

🚀 クイックスタート

このモデルは、質問応答に特化したもので、SQuADデータセットを用いて訓練されています。具体的な使用方法については、Kerasの公式サイトの例を参考にしてください。

✨ 主な機能

• 質問応答モデルとして、SQuADデータセットに基づいて訓練されています。
• 🤗Transformersと❤️Kerasを組み合わせて訓練されています。

📚 ドキュメント

モデルの説明

distilbert-base-casedに基づく質問応答モデルで、🤗Transformers + ❤️Kerasを用いて訓練されています。

想定される用途と制限

このモデルは、Keras.ioの質問応答チュートリアル用に訓練されています。

訓練と評価データ

SQuAD質問応答データセットを用いて訓練されています。 ⁉️

訓練手順

Kerasの例のノートブックはこちらにあります。 ❤️

訓練ハイパーパラメータ

訓練中に以下のハイパーパラメータが使用されました。

• オプティマイザ: {'name': 'Adam', 'learning_rate': 5e-05, 'decay': 0.0, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False}
• 訓練精度: mixed_float16

訓練結果

フレームワークのバージョン

• Transformers 4.16.0.dev0
• TensorFlow 2.6.0
• Datasets 1.16.2.dev0
• Tokenizers 0.10.3

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。