T5 Base Fr Qg Fquad

🚀 T5質問生成と質問回答

このモデルは、3つの異なるタスクに対してフランス語で微調整されたT5 Transformersモデル（airklizz/t5-base-multi-fr-wiki-news）です。このモデルは、質問生成、質問回答、回答抽出の3つのタスクで使用でき、FQuAD検証データセットで良好な結果を得ています。

🚀 クイックスタート

from transformers import T5ForConditionalGeneration, T5Tokenizer
model = T5ForConditionalGeneration.from_pretrained("JDBN/t5-base-fr-qg-fquad")
tokenizer = T5Tokenizer.from_pretrained("JDBN/t5-base-fr-qg-fquad")

✨ 主な機能

このモデルは以下の3つのタスクに対応しています。

• 質問生成
• 質問回答
• 回答抽出

📦 インストール

このモデルを使用するには、上記のクイックスタートコードを実行することで、必要なライブラリをインストールできます。

💻 使用例

基本的な使用法

from transformers import T5ForConditionalGeneration, T5Tokenizer
model = T5ForConditionalGeneration.from_pretrained("JDBN/t5-base-fr-qg-fquad")
tokenizer = T5Tokenizer.from_pretrained("JDBN/t5-base-fr-qg-fquad")

📚 ドキュメント

訓練データ

初期モデルにはhttps://huggingface.co/airKlizz/t5-base-multi-fr-wiki-news を使用し、FQuADとPIAFから構成されるデータセットを使って、前述の3つのタスクに対して微調整されました。

データの前処理は以下のように行われました。

• 質問生成: "generate question: Barack Hussein Obama, né le 4 aout 1961, est un homme politique américain et avocat. Il a été élu en 2009 pour devenir le 44ème président des Etats-Unis d'Amérique."
• 質問回答: "question: Quand Barack Hussein Obamaa-t-il été élu président des Etats-Unis d’Amérique? context: Barack Hussein Obama, né le 4 aout 1961, est un homme politique américain et avocat. Il a été élu en 2009 pour devenir le 44ème président des Etats-Unis d’Amérique."
• 回答抽出: "extract_answers: Barack Hussein Obama, né le 4 aout 1961, est un homme politique américain et avocat. Il a été élu en 2009 pour devenir le 44ème président des Etats-Unis d’Amérique ."

使用した前処理はhttps://github.com/patil-suraj/question_generation で実装されています。

評価結果

FQuAD検証セットでの結果

質問回答メトリクス

これらのメトリクスでは、FQuADの元の質問とT5で生成された質問に対する質問回答モデル（https://huggingface.co/illuin/camembert-base-fquad） の性能を比較しています。

BibTeXエントリと引用情報

@misc{githubPatil,
author = {Patil Suraj},
title = {question generation GitHub repository},
year = {2020},
howpublished={\url{https://github.com/patil-suraj/question_generation}}
}

@article{T5,
    title={Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
    author={Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
    year={2019},
    eprint={1910.10683},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

@misc{dhoffschmidt2020fquad,
      title={FQuAD: French Question Answering Dataset}, 
      author={Martin d'Hoffschmidt and Wacim Belblidia and Tom Brendlé and Quentin Heinrich and Maxime Vidal},
      year={2020},
      eprint={2002.06071},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}