Bart Squad2

🚀 BART-Squad2

Squad 2.0で学習された、抽出型（スパンベース）の質問応答用のBARTモデルです。F1スコアは87.4です。

🚀 クイックスタート

残念ながら、Huggingfaceの自動推論APIではこのモデルを実行できません。もし上の入力ボックスを使って試そうとしてエラーが出た場合は、落ち込まないでください！

ここでは、質問応答をローカルで実行する簡単な方法を紹介します。

from transformers import AutoTokenizer, AutoModelForQuestionAnswering

tokenizer = AutoTokenizer.from_pretrained("Primer/bart-squad2")
model = AutoModelForQuestionAnswering.from_pretrained("Primer/bart-squad2")
model.to('cuda'); model.eval()

def answer(question, text):
    seq = '<s>' +  question + ' </s> </s> ' + text + ' </s>'
    tokens = tokenizer.encode_plus(seq, return_tensors='pt', padding='max_length', max_length=1024)
    input_ids = tokens['input_ids'].to('cuda')
    attention_mask = tokens['attention_mask'].to('cuda')
    start, end, _ = model(input_ids, attention_mask=attention_mask)
    start_idx = int(start.argmax().int())
    end_idx =  int(end.argmax().int())
    print(tokenizer.decode(input_ids[0, start_idx:end_idx]).strip())
    # ^^ it will be an empty string if the model decided "unanswerable"

>>> question = "Where does Tom live?"
>>> context = "Tom is an engineer in San Francisco."
>>> answer(question, context)
San Francisco

（CPUで実行する場合は、.to('cuda') の部分を削除してください。）

✨ 主な機能

Squad 2.0で学習された抽出型（スパンベース）の質問応答用のBARTモデルで、F1スコアが87.4です。

🔧 技術詳細

学習手順

run_squad.py を以下のパラメータで実行します。

共有パラメータとエンコーダの埋め込みを固定するように変更されています。

制限事項とバイアス

不明です。さらなる評価は行われていません。技術的な観点から大きな制限の1つは、モデルサイズが1.6GBと大きいことです😬