🚀 flan-t5-base for Extractive QA
このモデルは、SQuAD2.0 データセットを使用して微調整された flan-t5-base モデルです。抽出型質問応答タスクのために、回答不能な質問を含む質問-回答ペアで訓練されています。
🚀 クイックスタート
モデル概要
属性 |
详情 |
言語モデル |
flan-t5-base |
言語 |
英語 |
下流タスク |
抽出型質問応答 |
訓練データ |
SQuAD 2.0 |
評価データ |
SQuAD 2.0 |
インフラストラクチャ |
1x NVIDIA 3070 |
モデルの使用方法
import torch
from transformers import(
AutoModelForQuestionAnswering,
AutoTokenizer,
pipeline
)
model_name = "sjrhuschlee/flan-t5-base-squad2"
nlp = pipeline(
'question-answering',
model=model_name,
tokenizer=model_name,
)
qa_input = {
'question': f'{nlp.tokenizer.cls_token}Where do I live?',
'context': 'My name is Sarah and I live in London'
}
res = nlp(qa_input)
model = AutoModelForQuestionAnswering.from_pretrained(
model_name,
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
question = f'{tokenizer.cls_token}Where do I live?'
context = 'My name is Sarah and I live in London'
encoding = tokenizer(question, context, return_tensors="pt")
output = model(
encoding["input_ids"],
attention_mask=encoding["attention_mask"]
)
all_tokens = tokenizer.convert_ids_to_tokens(encoding["input_ids"][0].tolist())
answer_tokens = all_tokens[torch.argmax(output["start_logits"]):torch.argmax(output["end_logits"]) + 1]
answer = tokenizer.decode(tokenizer.convert_tokens_to_ids(answer_tokens))
重要な注意事項
⚠️ 重要提示
このモデルを正常に動作させるには、質問の先頭に <cls>
トークンを手動で追加する必要があります。このトークンは、「回答なし」の予測を行うために使用されます。t5トークナイザーはこの特殊トークンを自動的に追加しないため、手動で追加する必要があります。
💡 使用建议
transformersバージョンが4.31.0以上の場合は、trust_remote_code=True
を使用しないでください。
✨ 主な機能
このモデルは、抽出型質問応答タスクに特化しており、回答不能な質問にも対応できます。
📚 ドキュメント
評価指標
{
"eval_HasAns_exact": 79.97638326585695,
"eval_HasAns_f1": 86.1444296592862,
"eval_HasAns_total": 5928,
"eval_NoAns_exact": 84.42388561816652,
"eval_NoAns_f1": 84.42388561816652,
"eval_NoAns_total": 5945,
"eval_best_exact": 82.2033184536343,
"eval_best_exact_thresh": 0.0,
"eval_best_f1": 85.28292588395921,
"eval_best_f1_thresh": 0.0,
"eval_exact": 82.2033184536343,
"eval_f1": 85.28292588395928,
"eval_runtime": 522.0299,
"eval_samples": 12001,
"eval_samples_per_second": 22.989,
"eval_steps_per_second": 0.96,
"eval_total": 11873
}
{
"eval_exact_match": 86.3197729422895,
"eval_f1": 92.94686836210295,
"eval_runtime": 442.1088,
"eval_samples": 10657,
"eval_samples_per_second": 24.105,
"eval_steps_per_second": 1.007
}
訓練手順
訓練ハイパーパラメータ
訓練中に使用されたハイパーパラメータは以下の通りです。
- learning_rate: 2e-05
- train_batch_size: 16
- eval_batch_size: 8
- seed: 42
- gradient_accumulation_steps: 6
- total_train_batch_size: 96
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_ratio: 0.1
- num_epochs: 4.0
フレームワークのバージョン
- Transformers 4.30.0.dev0
- Pytorch 2.0.1+cu117
- Datasets 2.12.0
- Tokenizers 0.13.3
📄 ライセンス
このモデルはMITライセンスの下で提供されています。