Question Answering Roberta Base S V2

🚀 質問応答モデル

このモデルは質問応答タスクに使用されます。質問と文脈が与えられると、モデルは回答テキスト、回答範囲、および信頼度スコアを推論しようとします。モデルはQuestionAnswering LM Headを備えたエンコーダ専用（deepset/roberta-base-squad2）で、SQUADxデータセットで微調整され、exact_matchが84.83、f1が91.80の性能スコアを達成しています。

🚀 クイックスタート

ライブデモ: 質問応答エンコーダ vs 生成型

エンコーダベースの質問応答V1についてはこのリンクをたどってください。
生成型質問応答についてはこのリンクをたどってください。

💻 使用例

基本的な使用法

from transformers import pipeline

model_checkpoint = "consciousAI/question-answering-roberta-base-s-v2"

context = """
🤗 Transformers is backed by the three most popular deep learning libraries — Jax, PyTorch and TensorFlow — with a seamless integration
between them. It's straightforward to train your models with one before loading them for inference with the other.
"""
question = "Which deep learning libraries back 🤗 Transformers?"

question_answerer = pipeline("question-answering", model=model_checkpoint)
question_answerer(question=question, context=context)

📚 ドキュメント

トレーニングと評価データ

SQUAD Split

トレーニング手順

前処理:

1. SQUADデータの長いチャンクは、入力文脈の最大長を384トークン、ストライドを128トークンとしてサブチャンクに分割されました。
2. サブチャンクに対してターゲット回答が再調整され、回答のないまたは部分的な回答のサブチャンクは、ターゲット回答範囲を(0,0)に設定されました。

メトリクス:

1. サブチャンク化を処理するために適切に調整されました。
2. n best = 20
3. 長さがゼロまたは最大回答長（30）を超える回答はスキップされます。

トレーニングハイパーパラメータ

カスタムトレーニングループ: トレーニング中に以下のハイパーパラメータが使用されました:

• learning_rate: 2e-5
• train_batch_size: 32
• eval_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 2

トレーニング結果

{'exact_match': 84.83443708609272, 'f1': 91.79987545811638}

フレームワークバージョン

• Transformers 4.23.0.dev0
• Pytorch 1.12.1+cu113
• Datasets 2.5.2
• Tokenizers 0.13.0

📄 ライセンス

Apache-2.0