Bart Large Finetuned Squadv1

🚀 SQuADv1で微调整されたBART-LARGEモデル

これは、SQuADv1データセット上で質問応答タスクに対して微调整されたbart-largeモデルです。質問応答シーンに効果的に使用でき、自然言語処理における質問応答のニーズに対する解決策を提供します。

🚀 クイックスタート

from transformers import BartTokenizer, BartForQuestionAnswering
import torch

tokenizer = BartTokenizer.from_pretrained('valhalla/bart-large-finetuned-squadv1')
model = BartForQuestionAnswering.from_pretrained('valhalla/bart-large-finetuned-squadv1')

question, text = "Who was Jim Henson?", "Jim Henson was a nice puppet"
encoding = tokenizer(question, text, return_tensors='pt')
input_ids = encoding['input_ids']
attention_mask = encoding['attention_mask']

start_scores, end_scores = model(input_ids, attention_mask=attention_mask, output_attentions=False)[:2]

all_tokens = tokenizer.convert_ids_to_tokens(input_ids[0])
answer = ' '.join(all_tokens[torch.argmax(start_scores) : torch.argmax(end_scores)+1])
answer = tokenizer.convert_tokens_to_ids(answer.split())
answer = tokenizer.decode(answer)
#answer => 'a nice puppet' 

✨ 主な機能

• BARTは、自然言語生成（NLG）と自然言語理解（NLU）タスクに適したシーケンス-to-シーケンス（seq2seq）モデルです。
• 最大1024トークンのシーケンスを処理できます。
• 質問応答タスクでは、完全なドキュメントをエンコーダーとデコーダーに入力し、デコーダーの最上位隠れ層の状態を各単語の表現として使用してトークン分類を行います。

📚 ドキュメント

モデルの詳細

BARTは論文BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehensionで提案されました。BARTを質問応答タスクに使用するために、完全なドキュメントをエンコーダーとデコーダーに入力し、デコーダーの最上位隠れ層の状態を各単語の表現として使用し、この表現をトークン分類に利用します。論文に記載されているように、bart-largeはSQuADでROBERTaと同等の性能を発揮します。

モデルの訓練

このモデルはGoogle Colabのv100 GPU上で訓練されました。微调整されたColabノートブックは以下のリンクから見ることができます。

結果

実際の結果は論文で示されたものよりもやや劣っています。論文では、著者はbart-largeが88.8の正確一致率（EM）と94.6のF1スコアを達成したと述べています。

Suraj Patilによって愛情を込めて作成されました